一种基于简化空间自适应标准化模块的图像压缩传输方法

本发明属于图像压缩传输领域，具体提供一种基于简化空间自适应标准化模块的图像压缩传输方法。

背景技术：

1、随着高性能计算设备和现代移动通信技术的不断进步，图像信号在多样化应用场景中的高质量高速率传输已具备理论和实践基础，这些技术的发展为图像信号的实时、高保真传输提供了理论基础和硬件支持。针对图像信号传输策略的改进，研究工作通常集中在两个关键方面：其一是对图像数据的压缩优化，减少传输所需的数据量，提高传输效率；其二是增强模型面向数据传输过程的鲁棒性，确保图像信号在面对传输过程中噪声干扰的情况下仍能保持较高的传输质量；然而，受限于传统编码传输方法难以适应当前的数据传输和信息交换效率，将信源编码和信道编码结合的一体化编码传输模型的实际性能一直难以超过两者分离的传输方法。

2、深度学习是机器学习的一个重要分支，其思想在用模仿生物神经网络的计算模式，结合当前计算机技术的优秀算力，使计算机获得对数据信息进行学习、分析、判断和记忆的处理能力，是一种具有特征学习和特征层次结构的学习方式，其结构是类似于人脑中神经元之间相互连接方式的含有多个隐藏层的多层感知器结构。基于深度学习模型，高倍率的压缩方法与高质量的生成图像质量得以在同一模型下实现，并且在很多指标上已经远超传统的图像压缩方法。在此基础上，将深度学习模型高效的数据处理能力和通信过程需求的模型鲁棒性问题相结合，为图像编码传输一体化模型的研究提供了理论基础和实现平台。

3、与jpeg、bpg等传统图像压缩编解码器相对应，基于深度学习的图像压缩重建模型制定为基于神经网络的自编码器模型，通过这种方式，将输入的图像转换为代表图像深层语义的比特流，并根据给定的背景知识恢复出原始图像。与此同时，生成对抗网络(generative adversarial network，gan)作为一种流行的生成模型，因其能够综合局部区域，生成更真实、更清晰的图像而被用于图像压缩和重构；研究结果表明，在高压缩比和高保真图像压缩场景下，采用基于gan的技术能获得更满意的图像重构效果。尽管图像压缩技术蓬勃发展，但现有方法并没有考虑到可能的传输误差，只是简单地假设了无误的比特信息用于图像重构。进一步的，最新研究提出了无线图像传输的信源和信道联合编码技术，该技术通过卷积神经网络(cnn)将输入图像映射为连续的i/q信号用于传输，并将发送端和接收端构成一个自动编码器来进行训练；该方法没有采用传统的物理层设计，因此不会因为分离的信源编码和信道编码不能适应信道变化而导致的性能急剧下降；然而，由于没有将图像表示为比特数据进行传输而是直接映射为i/q符号，该方法只能用于端到端的无线图像传输。

技术实现思路

1、本发明的目的在于提供一种基于简化空间自适应标准化模块的图像压缩传输方法，通过简化空间自适应标准化模块在解码过程中逐步补充图像的细节特征，从而实现更为精确的图像恢复重建，不仅提升了图像压缩的性能，还增强了在实际通信场景中的适用性和鲁棒性。

2、为实现上述目的，本发明采用的技术方案为：

3、一种基于简化空间自适应标准化模块的图像压缩传输方法，包括：发送端、物理信道、接收端，所述发送端包括：语义编码器、量化器、信道编码器，所述接收端包括：信道解码器、语义解码器；所述语义解码器包括：简化空间自适应标准化模块(san模块)；具体步骤如下：

4、步骤1、在发送端，使用语义编码器对原始图像信号进行压缩，生成潜在特征表示x，将潜在特征表示x送入标准化层，归一化为标准正态分布的潜在特征表示x′；

5、步骤2、将潜在特征表示x′输入量化器q中进行量化，得到离散特征信号

6、步骤3、通过信道编码器将离散特征信号进一步编码为比特流，并通过物理信道进行发送；

7、步骤4、在接收端，通过信道解码器接收信号进行解码，得到接收特征表示y；

8、步骤5、使用语义解码器对接收特征表示y进行解码，恢复生成重建图像信号y′。

9、进一步的，所述语义编码器的具体结构为：第一卷积块+下采样卷积块×3+边缘像素填充卷积层(pad)，其中，第一卷积块的结构为：边缘像素填充卷积层(pad)+in(标准化层)+leakyrelu函数，下采样卷积块的结构为：下采样卷积层+in(标准化层)+leakyrelu函数。

10、更进一步的，第一卷积块的边缘像素填充卷积层的卷积核为7×7、通道数为60；下采样卷积块的下采样卷积层的卷积核为3×3，且三个下采样卷积层的通道数逐层依次为120、240、480；语义编码器的边缘像素填充卷积层的卷积核为3×3、通道数为8。

11、进一步的，所述信道编码器采用熵编码器，所述信道解码器采用熵解码器。

12、进一步的，所述语义解码器的具体结构为：第二卷积块+(san模块+残差块×3)×3+上采样卷积块×3+边缘像素填充卷积层+tanh激活函数；第二卷积块的结构为：边缘像素填充卷积层+in+leakyrelu函数，上采样卷积块的结构为：上采样卷积层+in+leakyrelu函数，残差块的残差部分的结构为：卷积层+in+leakyrelu函数；

13、san模块采用残差结构，残差部分的结构为：边缘像素填充卷积层+san层+leakyrelu函数+san层+边缘像素填充卷积层。

14、更进一步的，san层的函数表达式为：

15、y′＝γc·bn(x′)+βc(y)

16、γc(y)＝conv1(leakyrelu(conv(y)))

17、βc(y)＝conv2(leakyrelu(conv(y)))

18、其中，x′表示san层的输入，y′表示san层的输出，leakyrelu表示leakyrelu激活函数，bn表示批标准化处理，conv表示卷积核为3×3、通道数为128的边缘像素填充卷积层，conv1表示卷积核为3×3、通道数为480的边缘像素填充卷积层，conv2卷积核为3×3、通道数为480的边缘像素填充卷积层；

19、更进一步的，第二卷积块中边缘像素填充卷积层的卷积核为3×3、通道数为480；上采样卷积模块中上采样卷积层的卷积核为3×3，且三个上采样卷积层的通道数依次为240、120、60；语义解码器的边缘像素填充卷积层的卷积核为7×7、通道数为3。

20、进一步的，所述语义编码器、量化器、信道编码器、信道解码器、语义解码器以及噪声生成器、多尺度判别器共同构成图像压缩传输模型以完成训练，其中，噪声生成器用以模拟物理信道，语义解码器作为生成器与多尺度判别器形成生成对抗网络；生成对抗网络的训练目标为最小-最大目标值鞍点，具体表示为：

21、

22、f(z)＝(z-1)2,g(z)＝z2

23、其中，g表示生成器，d表示判别器，生成器与判别器进行交替训练；r表示原始图像信号，f与g表示皮尔森卡方散度度量公式，z表示皮尔森卡方散度度量公式的输入；d表示mse函数，λ表示权重系数。

24、从工作原理上讲：

25、对于如bn层、in层的传统标准化层，其反标准化的计算公式如下所示：

26、y＝γx′+β

27、其中，x′表示标准化结果，y表示反标准化结果、即为标准化层的输出，γ代表权重参数，β代表偏置参数；γ和β分别通过与标准化数据相乘和叠加的方式改变特征信息的概率分布情况，即为通过梯度反向传播进行优化的变量参数；在形式上，反标准化操作与标准化操作相对立，其设计初衷在于中和标准化过程对输入数据x可能引入的不利效应；通过反标准化，旨在恢复数据至其原始的分布状态或特征空间，从而减轻标准化可能导致的信息损失或表示形式的改变，这种操作对于维持数据的完整性和促进后续处理的有效性具有重要意义。

28、上述训练得到的γ和β对应着输入特征图的每个通道，具体为一维的向量，而传入到解码器的特征图像为包含宽度、高度和通道的三维张量，因此，传统标准化层(如bn层、in层)对图像信号进行恢复重建时极容易丢失输入图像的特征信息，尤其是在多层级联且均使用标准化层的残差网络中，不仅容易丢失图像的语义特征信息，并且，容易导致模型在训练时收敛难度大，出现梯度溃散等问题。

29、针对上述问题，本发明提出适应于图像恢复的简化空间自适应标准化模块(san,simplifi ed spatially-adaptive normalization)，并将该模块应用到语义解码器(即生成器)，以提升图像的恢复性能。san模块中，一方面将传统in标准化层中的一维反标准化参数拓展为具有空间维度的张量，从而联合多通道特征信息进行图像重建；另一方面将初始接收到的语义特征作为指导信息输入到网络结构中，充分利用初始接收到的语义特征来指导生成器进行图像重建，补充了更多的特征信息，从而提升了图像的重建性能。

30、具体而言，san模块由自构建的san层组成，自构建san层的结构如图5所示，将接收端接收到的初始语义特征图作为自构建san层的输入，并通过一个卷积层将其投影到嵌入空间中，然后再分别进行卷积以产生调制参数γ与β；相比与传统标准化层，调制参数γ与β不再是只面向单一通道的一维向量，而是具有空间维度的张量，且它们均由初始接收到的语义特征图卷积而来，因此，能够在接收端生成器的反标准化过程中引入更多的特征信息，更好地进行重建图像的生成。

31、为了进一步提升接收端的图像重建效果，本发明还将提出的自构建san层进行残差连接，构成san模块，san模块与传统残差块在整体结构上类似，由直连的短路连接和残差部分的输出信号两部分组成，其主要区别在于将传统残差块中的in层替换为san层，从而通过与原始特征结合的形式避免标准化操作导致的特征信息损失情况。

32、综上所述，本发明的有益效果在于：

33、本发明提供一种基于简化空间自适应标准化模块的图像压缩传输方法，创造性的提出简化空间自适应标准化模块(san,simplified spatially-adaptivenormalization)，进而构建接收端语义编码器，通过复用特征信息来弥补重建图像细节，san模块通过残差连接的方式加深了接收端语义解码器的网络深度的同时，避免了网络加深带来的特征信息损失的问题，从而提高了接收端恢复出的重建图像的细节丰富程度，显著提升图像压缩传输方法的整体性能；同时，本发明缓解了传输数据错误导致的图像传输性能的快速下降；并且，本发明将图像压缩为比特数据，压缩得到的图像比特信息可用于网络传输，并兼容传统通信物理层的实现方法，并不局限于点对点图像传输。