一种面向图像语义通信任务的联合信源信道编码方法

本发明属于无线通信和语义通信，涉及一种面向图像语义通信任务的联合信源信道编码方法。

背景技术：

1、在当今信息时代，图像已经超越了简单的视觉信息记录和传递的角色，成为了在社交媒体共享、医疗诊断等多个关键领域中不可或缺的信息载体。随着图像数据流量的持续增长，尽管工业界和学术界通过采用先进的数据压缩、编码技术和网络优化策略来提升通信系统的容量和效率，但这些措施根本上还是难以满足未来数据爆炸式增长的需求。因此，寻找能够从根本上提高数据传输效率的通信方法变得至关重要。

2、随着人工智能技术的快速发展和广泛应用，语义通信作为一种全新的通信范式引起了广泛关注，它的核心思想在于传达数据背后的深层意义和语义信息，从而极大地提高通信效率。图像语义通信聚焦于确保深层语义的准确传递，而非仅仅关注表层的位精度。目前，语义通信的实现主要依赖于深度神经网络来提取和恢复语义信息，其中联合信源信道编码(joint source-channel coding,jscc)策略成为了一个流行的选择。通过调整jscc方案以满足任务需求，可以优化信息的传输和理解过程，提高通信效率，减少传输错误，同时适应复杂的信道环境。然而，这一领域的研究仍面临着多个关键挑战：(1)如何有效提取和恢复图像的语义信息；(2)如何平衡模型的复杂性和实时性。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种面向图像语义通信任务的联合信源信道编码方法，结合swin transformer网络架构的特点，以及卷积神经网络的优势，为图像传输设计一种高效且轻量的语义提取和恢复模块，解决系统鲁棒性低以及模型尺寸大的问题。

2、为达到上述目的，本发明提供如下技术方案：

3、一种面向图像语义通信任务的联合信源信道编码方法，包括以下步骤：

4、s1：建立基于swin transformer和卷积神经网络的联合信源信道编码系统模型，包括发送端和接收端；所述发送端通过联合信源信道编码器从图像中提取语义信息并通过无线信道传输；所述接收端从无线信道中提取语义信息，再利用联合信源信道解码器将其解码，得到重建后的图像；

5、s2：在发送端通过三个交替迭代的残差下采样(residual block down-sample，rbds)模块和stc(swin transformer and cnn)模块提取图像的非局部及局部语义信息；

6、s3：在发送端执行卷积下采样和功率归一化操作，根据当前带宽压缩比动态调整系统输出的语义信息；

7、s4：在接收端通过三个交替迭代的残差上采样(residual block up-sample，rbus)模块和stc模块，恢复图像的非局部及局部语义信息，同时有效对抗信道中的噪声和干扰；

8、s5：在接收端执行子像素卷积上采样操作，得到与原始图像尺寸相同的重构图像。

9、进一步，所述发送端的输入图像记为其中表示实数集合，h、w、c分别表示图像的高度、宽度和颜色通道数；在编码阶段，发送端的联合信源信道编码器将i映射为一个k维复向量其中表示复数集；编码过程表示为向量x通过无线信道传输得到输出向量y，即：

10、

11、表示通道系数，假设遵循圆对称复高斯分布具有零均值和单位方差；噪声项的特征为复高斯噪声，均值为零，方差为信噪比γ的计算结果为：

12、

13、其中p为发送端的发送功率；带宽压缩比r计算为：

14、

15、其中r越小表示压缩越多；

16、在接收端，联合信源信道解码器神经网络用表示；在解码阶段，将向量y映射为图像解码过程表示为

17、联合信源信道编码器和联合信源信道解码器的整体深度神经网络定义为

18、采用均方误差(mean square error，mse)来测量原始图像i与重构图像之间的差异，损失函数为：

19、

20、其中，n为样本个数，为均方误差失真，n为图像中总像素数；

21、无线信道被设计为一层不可更新的层，整体模型通过联合训练实现从发送端到接收端的联合优化。

22、进一步，步骤s2中，所述rbds模块包括两层卷积操作，第二层卷积后接一个广义除法归一化层(generalized division normalization，gdn)；每经过一个rbds模块，图像的高度和宽度均减少一半；

23、每个rbds模块后面跟随一个stc模块，用于进行语义提取和语义调整。

24、进一步，所述stc模块的语义提取步骤如下：

25、第一阶段：将输入语义信息表示为经过一层卷积网络得到的输出也包含c个通道；随后，的输出使用割操作split(·)将其分为两部分和分割过程表示为：

26、

27、然后fc通过由两个3×3卷积层和组成的残差网络，得到输出表示为：

28、

29、将ft送进一个swin transformer block(stb)得到输出接着采用连接操作con(·)把和联合起来，形成尺寸为hf×wf×c的语义信息；再然后将这个连接后的语义信息通过一个卷积层进行处理，融合局部与非局部语义信息；还包括f和输出之间的跳跃连接，即从输入直接到输出的快捷路径，最后生成最终输出表示为：

30、

31、第二阶段：在stb中使用基于偏移窗口的多头自注意力(sw-msa)，替换第一阶段的基于窗口的多头自注意力(w-msa)，在两个连续的stb之间引入残差网络，重新执行第一阶段的其余内容。

32、进一步，所述stc模块的语义调整步骤如下：

33、首先，通过将标准差和均值之和相结合的运算sdm(·)来捕捉中的全局信息，对于输入向量通过sdm(·)后的第i个特征通道的输出zi表示为：

34、

35、随后，获取的全局信息沿特征通道维度连接，使用两个连续的卷积层和来预测权重因子；

36、最终，通过对加权，得到调整后的输出，表示为：

37、

38、其中，使用relu激活函数学习复杂的非线性关系，使用sigmoid激活函数将权重因子限制在0到1的范围内。

39、进一步，步骤s3具体包括：通过卷积层将图像尺寸调整为通过改变cr的值实现不同的带宽压缩比r；最终，在数据通过无线信道发送前，执行功率归一化操作，确保数据维持在适宜的功率水平。

40、进一步，步骤s4中，接收端的三个交替迭代的上采样模块和stc模块与发送端的三个交替迭代的残差下采样模块和stc模块结构相同；残差上采样(residual block up-sample，rbus)模块通过其包含的两个亚像素卷积层和一个卷积层，对图像执行上采样操作；每个rbus模块后面跟随一个stc模块。

41、进一步，步骤s5中，在接收端使用亚像素卷积层对图像进行进一步上采样，最终得到重构图像。

42、本发明的有益效果在于：本发明提出了一个结合swin transformer以及卷积神经网络的模块，从而实现轻量级联合信源信道编码。本方法能够有效提取图像的非局部及局部语义信息，并且可以根据当前带宽压缩比动态调整系统输出的语义信息。实验结果表明，与对比方案1(基于卷积神经网络的联合信源信道编码模型)、对比方案2(基于swintransformer的联合信源信道编码模型)、对比方案3(jpeg压缩+ldpc编码，码率为)、对比方案4(jpeg压缩+ldpc编码，码率为)相比，本发明所提方案在低信噪比时表现更好，即鲁棒性更高，且模型尺寸小。

43、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。