一种基于医学图像的语义通信方法及相关设备

技术特征：
1.一种基于医学图像的语义通信方法，其特征在于，所述基于医学图像的语义通信方法包括：基于深度学习获取医学图像中的医学知识；将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。2.根据权利要求1所述的基于医学图像的语义通信方法，其特征在于，所述编码器神经网络包括图像编码块和知识编码块；所述将所述医学图像和所述医学知识输入到编码器神经网络，以获取第一联合语义特征，具体包括：基于所述图像编码块提取所述医学图像的图像特征；基于所述知识编码块提取所述医学知识的知识特征；将所述图像特征和所述知识特征进行拼接融合，获得所述第一联合语义特征。3.根据权利要求1所述的基于医学图像的语义通信方法，其特征在于，所述解码器神经网络包括知识解码块和联合解码块；所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，具体包括：从所述第二联合语义特征中分离出第一知识特征；将所述第一知识特征作为所述知识解码块的输入，通过所述知识解码块对所述第一知识特征进行解码，输出知识数值矩阵，恢复所述知识数值矩阵获得所述医学知识；将所述第二联合语义特征作为所述联合解码块的输入，通过所述联合解码块对所述第二联合语义特征进行解码，输出图像数值矩阵，恢复所述图像数值矩阵获得所述医学图像。4.根据权利要求3所述的基于医学图像的语义通信方法，其特征在于，所述知识解码块为多级知识解码块；所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，还包括：将每一级知识解码块的输出作为下一级知识解码块的输入，直到输出的知识数值矩阵满足预设要求，输出并恢复所述知识数值矩阵，获得所述医学知识。5.根据权利要求4所述的基于医学图像的语义通信方法，其特征在于，所述联合解码块为多级联合解码块；所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，还包括：将每一级知识解码块的输出与每一级联合解码块的输出进行拼接作为下一级联合解码块的输入，直到输出的图像数值矩阵满足预设要求，输出并恢复所述图像数值矩阵，获得所述医学图像。6.根据权利要求1所述的基于医学图像的语义通信方法，其特征在于，所述基于医学图像的语义通信方法还包括：
基于联合损失函数对联合神经网络进行训练，所述联合神经网络由所述编码器神经网络和所述解码器神经网络组成。7.根据权利要求6所述的基于医学图像的语义通信方法，其特征在于，所述基于医学图像的语义通信方法还包括：基于随机梯度下降法优化所述联合神经网络的联合损失函数，所述联合损失函数为输入和输出医学图像的均方误差与输入和输出医学知识的均方误差之和。8.一种基于医学图像的语义通信系统，其特征在于，所述基于医学图像的语义通信系统包括：获取模块，用于基于深度学习获取医学图像中的医学知识；编码模块，用于将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；解码模块，用于基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于医学图像的语义通信程序，所述基于医学图像的语义通信程序被所述处理器执行时实现如权利要求1-7任意一项所述基于医学图像的语义通信方法的步骤。10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有基于医学图像的语义通信程序，所述基于医学图像的语义通信程序被处理器执行时实现如权利要求1-7任意一项所述基于医学图像的语义通信方法的步骤。

技术总结
本发明公开了一种基于医学图像的语义通信方法及相关设备，所述基于医学图像的语义通信方法包括：基于深度学习获取医学图像中的医学知识；将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。本发明中通过编码器神经网络独立编码医学图像和医学知识，最大限度保留医学图像中的医学知识，使得接收端能够接收并恢复携带准确医学知识的医学图像，进而提高语义通信过程中接收端接收到的医学图像的准确性。通信过程中接收端接收到的医学图像的准确性。通信过程中接收端接收到的医学图像的准确性。


技术研发人员：李爱妮 王光宇 陈昊 杨文乐 张平
受保护的技术使用者：北京邮电大学
技术研发日：2022.08.01
技术公布日：2022/11/29