语义通信方法、装置、设备及存储介质与流程

本发明涉及通信，尤其涉及一种语义通信方法、装置、设备及存储介质。

背景技术：

1、近年来，人工智能与算力技术的兴起为通信系统处理语义信息提供了技术底座，语义通信的理论与方法研究取得了进一步发展。但是现存的基于深度学习的语义通信系统是将所有数据进行语义信息提取后进行无差别传输，这样就大大增加了语义通信的传输负担。在不同的应用场景下用户只会对一些重要信息有需求，因此应该考虑如何根据用户需求，对传输数据进行有区分的语义信息提取，并对提取的语义信息合理分配码流进行传输，缓解通信系统的传输压力，并满足当下用户需求和实际体验。

2、常见的语义通信系统可以分为基于联合信源信道编码的语义通信系统和基于分离信源信道编码的语义通信系统，这些语义通信方式都是先对图像数据进行语义信息提取，然后根据预设的压缩率对语义信息进一步压缩，将压缩后的语义特征转换为复数信号后输入信道进行传输，导致在传输过程中存在的大量冗余信息增加了通信系统的传输负担。

技术实现思路

1、本发明的主要目的在于提供一种语义通信方法、装置、设备及存储介质，旨在解决现有技术语义通信传输效率低的技术问题。

2、为实现上述目的，本发明提供了一种语义通信方法，所述方法包括以下步骤：

3、响应于接收到的用户指令和待传输图像；

4、对所述用户指令和所述待传输图像进行融合处理，得到联合语义特征；

5、对所述联合语义特征进行处理，得到目标图像信息，并将所述目标图像信息进行传输。

6、可选地，所述对所述用户指令和所述待传输图像进行融合处理，得到联合语义特征，包括：

7、对所述用户指令和所述待传输图像进行编码处理，得到语义特征信息；

8、将所述语义特征信息进行融合处理，得到联合语义特征。

9、可选地，所述对所述用户指令和所述待传输图像进行编码处理，得到语义特征信息，包括：

10、将所述用户指令输入至第一编码网络进行文字语义提取，得到文字语义信息；

11、将所述待传输图像输入至第二编码网络进行图像语义提取，得到图像语义信息；

12、将所述文字语义信息和所述图像语义信息作为语义特征信息。

13、可选地，所述将所述语义特征信息进行融合处理，得到联合语义特征，包括：

14、根据所述文字语义信息和所述图像语义信息得到文字语义特征和图像语义特征；

15、将所述文字语义特征和所述图像语义特征进行融合，得到初始语义特征；

16、对所述初始语义特征进行筛选，得到联合语义特征。

17、可选地，对所述联合语义特征进行处理，得到目标图像信息，包括：

18、对所述联合语义特征进行向量处理，得到噪声特征向量；

19、对所述噪声特征向量进行解码，得到目标图像信息。

20、可选地，所述对所述联合语义特征进行向量处理，得到噪声特征向量，包括：

21、对所述联合语义特征进行向量压缩，得到低维特征向量；

22、获取信道增益系数以及随机噪声；

23、通过所述信道增益系数和所述随机噪声对所述低维特征向量进行处理，得到噪声特征向量。

24、可选地，响应于接收到的用户指令，包括：

25、获取用户需求对象的类别描述信息、位置描述信息以及颜色描述信息；

26、将所述类别描述信息、所述位置描述信息以及所述颜色描述信息作为用户需要发送的文字指令；

27、将所述文字指令作为接收到的用户指令。

28、此外，为实现上述目的，本发明还提出一种语义通信装置，所述语义通信装置包括：

29、响应模块，用于响应于接收到的用户指令和待传输图像；

30、融合模块，用于对所述用户指令和所述待传输图像进行融合处理，得到联合语义特征；

31、处理模块，用于对所述联合语义特征进行处理，得到目标图像信息，并将所述目标图像信息进行传输。

32、此外，为实现上述目的，本发明还提出一种语义通信设备，所述语义通信设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语义通信程序，所述语义通信程序配置为实现如上文所述的语义通信方法的步骤。

33、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有语义通信程序，所述语义通信程序被处理器执行时实现如上文所述的语义通信方法的步骤。

34、本发明通过响应于接收到的用户指令和待传输图像；对所述用户指令和所述待传输图像进行融合处理，得到联合语义特征；对所述联合语义特征进行处理，得到目标图像信息，并将所述目标图像信息进行传输，将用户指令与图像特征融合，从而只传输用户指定的语义信息，降低传输码流，提高系统的传输效率。

技术特征：

1.一种语义通信方法，其特征在于，所述语义通信方法包括：

2.如权利要求1所述的语义通信方法，其特征在于，所述对所述用户指令和所述待传输图像进行融合处理，得到联合语义特征，包括：

3.如权利要求2所述的语义通信方法，其特征在于，所述对所述用户指令和所述待传输图像进行编码处理，得到语义特征信息，包括：

4.如权利要求3所述的语义通信方法，其特征在于，所述将所述语义特征信息进行融合处理，得到联合语义特征，包括：

5.如权利要求1所述的语义通信方法，其特征在于，对所述联合语义特征进行处理，得到目标图像信息，包括：

6.如权利要求5所述的语义通信方法，其特征在于，所述对所述联合语义特征进行向量处理，得到噪声特征向量，包括：

7.如权利要求1至6中任一项所述的语义通信方法，其特征在于，响应于接收到的用户指令，包括：

8.一种语义通信装置，其特征在于，所述语义通信装置包括：

9.一种语义通信设备，其特征在于，所述语义通信设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语义通信程序，所述语义通信程序配置为实现如权利要求1至7中任一项所述的语义通信方法。

10.一种存储介质，其特征在于，所述存储介质上存储有语义通信程序，所述语义通信程序被处理器执行时实现如权利要求1至7中任一项所述的语义通信方法。

技术总结本发明公开了一种语义通信方法、装置、设备及存储介质，属于通信技术领域。本发明通过响应于接收到的用户指令和待传输图像；对所述用户指令和所述待传输图像进行融合处理，得到联合语义特征；对所述联合语义特征进行处理，得到目标图像信息，并将所述目标图像信息进行传输，将用户指令与图像特征融合，从而只传输用户指定的语义信息，降低传输码流，提高系统的传输效率。技术研发人员：丁润伟,孟凡阳,申涵,王野受保护的技术使用者：鹏城实验室技术研发日：技术公布日：2024/7/23