基于OAR模型的语义信道联合编解码方法、装置及产品

本发明实施例涉及数据处理，尤其涉及一种基于oar模型的语义信道联合编解码方法、装置及产品。

背景技术：

1、随着移动通信需求的增加，6g的发展已成为必然趋势。6g面临视频、xr等多模态业务和复杂信息交换的挑战，图像视频成为通信业务的主体，数据量增大，多种模态并存，传输瓶颈凸显。针对这个问题，传统的解决思路一方面是通过大幅度压缩，但传统压缩标准随着复杂度增加，效率提升缓慢，并且低码率下图像质量严重退化。另一方面是提升现有系统网络容量，但提升空间有限，遭遇“边际效应”。可见传统方法存在局限性，因此需要寻找新模式。

2、目前解决思路是跳出像素，从传统通信向语义通信转变。在语义表征层面上，目前的研究现状多是利用文本、低维向量、语义分割图和素描图进行语义表征和图像视频重建。但是这些方法大都可解释性差，未脱离像素，压缩空间有限，重建效果不加。因此，难题在于：构建既能保留更多语义信息，又能减少数据量的表征方式，并且实现较高质量的重建效果。而当前有一种语义表征方式解决了这一难题：从像素到目标-属性-关系的oar基元，该结构数据量小，同时能保留图像视频里重要信息。在服务质量方面，引入语义知识库，实现oar语义基元和知识库的交互。

3、然而，针对于新兴通信框架——基于oar的语义通信框架下，信源中图像视频的编码方式有所改变，若还使用传统的信道编码方式进行信道编码，则会导致语义通信在信道传输中鲁棒性低的问题，不仅会增加传输的数据量，还会降低信息传输的准确率。

技术实现思路

1、基于上述技术问题，本发明实施例提供一种基于oar模型的语义信道联合编解码方法、装置及产品，旨在解决语义通信在信道传输中的鲁棒性问题，以减少传输的数据量，提高信息传输准确率。

2、本发明实施例提供了一种基于oar模型的语义信道联合编解码方法，所述oar模型为目标-属性-关系模型，所述方法包括：

3、获取目标oar标签图对应的目标oar标签三元组；

4、通过oar语义编码网络对所述目标oar标签三元组进行oar语义编码，得到原始的oar三元组语义向量；

5、通过预先训练的oar信道编码网络对所述原始的oar三元组语义向量进行信道编码，得到目标oar信道编码结果，通过信道对所述目标oar信道编码结果进行传输；

6、通过预先训练的oar信道解码网络对经所述信道传输后的目标oar信道编码结果进行信道解码，得到恢复后的oar三元组语义向量；

7、通过oar语义解码网络对所述恢复后的oar三元组语义向量进行oar语义解码，得到恢复后的oar标签图；或，

8、基于所述恢复后的oar三元组语义向量进行图像检索或图像重建。

9、可选地，所述预先训练的oar信道编码网络和所述预先训练的oar信道解码网络组成oar信道编解码模型，所述预先训练的oar信道编码网络部署在编码端，所述预先训练的oar信道解码网络部署在解码端，所述oar信道编解码模型的训练过程包括以下步骤：

10、所述编码端通过所述oar语义编码网络对样本oar标签三元组进行oar语义编码，得到原始的样本oar三元组语义向量；

11、所述编码端通过初始oar信道编码网络对所述原始的样本oar三元组语义向量进行信道编码，得到第一样本信道编码结果；

12、所述编码端通过信道将所述第一样本信道编码结果发送给所述解码端，所述解码端通过所述信道接收到第二样本信道编码结果；

13、所述解码端通过初始oar信道解码网络对所述第二样本信道编码结果进行信道解码，得到恢复后的样本oar三元组语义向量；

14、将所述恢复后的样本oar三元组语义向量输入分类器，得到预测样本标签；

15、基于所述预测样本标签与所述样本oar标签三元组对应的标签，对所述初始oar信道编码网络和所述初始oar信道解码网络的网络参数进行更新，直至训练结束，得到所述oar信道编解码模型。

16、可选地，所述编码端通过信道将所述第一样本信道编码结果发送给所述解码端，所述解码端通过所述信道接收到第二样本信道编码结果，包括：

17、所述编码端将所述第一样本信道编码结果从实信号转换为复信号后，再进行功率归一化，得到第一样本信道编码中间结果；

18、所述编码端将所述第一样本信道编码中间结果输入至所述信道，所述解码端通过所述信道接收到所述第二样本信道编码结果。

19、可选地，所述方法还包括：

20、确定所述信道的信道类别；

21、基于所述信道类别，确定所述信道对应的神经网络，以所述信道对应的神经网络构建所述初始oar信道编码网络和所述初始oar信道解码网络，所述信道对应的神经网络是可导的。

22、可选地，在所述信道类别为awgn通道、乘性高斯噪声通道或擦除通道的情况下，所述信道对应的神经网络为神经网络参数量低于第一阈值和/或神经网络层数低于第二阈值的神经网络；

23、在所述信道类别为衰落信道的情况下，所述信道对应的神经网络为所述神经网络参数量高于第三阈值和/或所述神经网络层数高于第四阈值的神经网络；

24、其中，所述第一阈值小于等于所述第三阈值，所述第二阈值小于等于所述第四阈值。

25、可选地，所述oar信道编码网络包括依次连接的第一全连接层、激活函数层和第二全连接层，所述第一全连接层处理的向量的尺寸为mx576，所述第二全连接层处理的向量的尺寸为256x256，所述m为所述目标oar标签三元组中的三元组个数；

26、所述oar信道解码网络包括依次连接的所述第二全连接层、所述激活函数层和第三全连接层，所述第三全连接层处理的向量的尺寸为576x256。

27、本发明实施例第二方面提供了一种基于oar模型的语义信道联合编解码装置，所述oar模型为目标-属性-关系模型，所述装置包括：

28、三元组获取模块，用于获取目标oar标签图对应的目标oar标签三元组；

29、语义编码模块，用于通过oar语义编码网络对所述目标oar标签三元组进行oar语义编码，得到原始的oar三元组语义向量；

30、信道编码模块，用于通过预先训练的oar信道编码网络对所述原始的oar三元组语义向量进行信道编码，得到目标oar信道编码结果，通过信道对所述目标oar信道编码结果进行传输；

31、信道解码模块，用于通过预先训练的oar信道解码网络对经所述信道传输后的目标oar信道编码结果进行信道解码，得到恢复后的oar三元组语义向量；

32、语义解码模块，用于通过oar语义解码网络对所述恢复后的oar三元组语义向量进行oar语义解码，得到恢复后的oar标签图；

33、向量处理模块，用于基于所述恢复后的oar三元组语义向量进行图像检索或图像重建。

34、可选地，所述预先训练的oar信道编码网络和所述预先训练的oar信道解码网络组成oar信道编解码模型，所述预先训练的oar信道编码网络部署在编码端，所述预先训练的oar信道解码网络部署在解码端，所述装置还包括模型训练模块，所述模型训练模块用于进行所述oar信道编解码模型的训练，所述模型训练模块，包括：

35、样本语义编码模块，部署于所述编码端，用于通过所述oar语义编码网络对样本oar标签三元组进行oar语义编码，得到原始的样本oar三元组语义向量；

36、样本信道编码模块，部署于所述编码端，用于通过初始oar信道编码网络对所述原始的样本oar三元组语义向量进行信道编码，得到第一样本信道编码结果；

37、样本信号传输模块，部署于所述编码端，用于通过信道将所述第一样本信道编码结果发送给所述解码端，所述解码端通过所述信道接收到第二样本信道编码结果；

38、样本信道解码模块，部署于所述解码端，用于通过初始oar信道解码网络对所述第二样本信道编码结果进行信道解码，得到恢复后的样本oar三元组语义向量；

39、样本信号分类模块，用于将所述恢复后的样本oar三元组语义向量输入分类器，得到预测样本标签；

40、模型参数训练模块，用于基于所述预测样本标签与所述样本oar标签三元组对应的标签，对所述初始oar信道编码网络和所述初始oar信道解码网络的网络参数进行更新，直至训练结束，得到所述oar信道编解码模型。

41、可选地，所述样本信号传输模块，包括：

42、信号转换模块，部署于所述编码端，用于将所述第一样本信道编码结果从实信号转换为复信号后，再进行功率归一化，得到第一样本信道编码中间结果；

43、信道传输模块，部署于所述编码端，用于将所述第一样本信道编码中间结果输入至所述信道，所述解码端通过所述信道接收到所述第二样本信道编码结果。

44、可选地，所述装置还包括：

45、类别确定模块，用于确定所述信道的信道类别；

46、网络确定模块，用于基于所述信道类别，确定所述信道对应的神经网络，以所述信道对应的神经网络构建所述初始oar信道编码网络和所述初始oar信道解码网络 ，所述信道对应的神经网络是可导的。

47、可选地，在所述信道类别为awgn通道、乘性高斯噪声通道或擦除通道的情况下，所述信道对应的神经网络为神经网络参数量低于第一阈值和/或神经网络层数低于第二阈值的神经网络；

48、在所述信道类别为衰落信道的情况下，所述信道对应的神经网络为所述神经网络参数量高于第三阈值和/或所述神经网络层数高于第四阈值的神经网络；

49、其中，所述第一阈值小于等于所述第三阈值，所述第二阈值小于等于所述第四阈值。

50、可选地，所述oar信道编码网络包括依次连接的第一全连接层、激活函数层和第二全连接层，所述第一全连接层处理的向量的尺寸为mx576，所述第二全连接层处理的向量的尺寸为256x256，所述m为所述目标oar标签三元组中的三元组个数；

51、所述oar信道解码网络包括依次连接的所述第二全连接层、所述激活函数层和第三全连接层，所述第三全连接层处理的向量的尺寸为576x256。

52、本发明实施例第三方面提供了一种电子设备，所述电子设备包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被该处理器执行时实现如本发明实施例第一方面的基于oar模型的语义信道联合编解码方法。

53、本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面的基于oar模型的语义信道联合编解码方法。

54、通过本发明实施例的基于oar模型的语义信道联合编解码方法，针对语义编码后的原始的oar三元组语义向量，通过与语义编码相适配的预先训练的oar信道编码网络进行信道编码，并在经过信道传输后，通过相适配的预先训练的oar信道解码网络进行信道解码，得到恢复后的oar三元组语义向量，再基于恢复后的oar三元组语义向量通过语义解码恢复成人类可识读的oar标签图，或基于恢复后的oar三元组语义向量进行图像检索或图像重建，如此，不仅可以在图像语义通信的应用场景中，减少语义错误，提高信息传输准确率，还减少了信道传输的数据量，从而提升语义通信在信道传输中的鲁棒性。