一种基于多尺度空间和上下文信息融合的图像压缩方法

技术特征：
1.一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，该方法包括以下步骤：1)构建基于多尺度空间和上下文信息融合的图像压缩模型，通过主编码器从原始图像中提取隐藏特征，并采用多尺度信息融合模块减少向前传播有效信息的损失；2)超先验模块将超先验信息和多尺度上下文信息结合，获取三个高斯函数的参数及权重，以权重相加后得到高斯混合模型得到隐藏特征的概率分布；3)基于隐藏特征的概率分布，算数编码器对隐藏特征进行编码和解码；4)主解码器将隐藏特征重构成为图片，完成图像压缩。2.根据权利要求1所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，所述的步骤1)具体包括以下步骤：11)原始图片经由残差块、注意力模块以及多尺度信息融合模块进行特征提取以及降采样之后得到隐藏特征y，为对y进行熵编码，对其进行步长为1的量化得到量化后的隐藏特征则有：则有：其中，x为原始图片，为主编码器的参数，q(
·
)表示量化处理，g
a
(
·
)表示主编码器；12)通过主编码器中的多尺度信息融合模块将降采样i次的特征y
(i)
和降采样i 2次的特征y
(i 2)
通过注意力机制的形式融合在一起，为减少计算资源消耗，主编码器仅采用两个多尺度信息模块，则有：y
(i 2)
＝y
(i 2)
y
(i 2)
*sigmoid(res(y
(i)
)).其中，res(
·
)表示残差块。3.根据权利要求2所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，所述的步骤2)具体包括以下步骤：21)超先验编码器从隐藏特征y中计算得到超先验特征z，再经由量化得到量化后的超先验特征用以辅助提取隐藏特征中的空间冗余以及提高隐藏特征概率分布估计的准确性，则有：性，则有：其中，h
a
(
·
)表示超先验编码器，为超先验编码器的参数；22)利用多尺度三维上下文模块从量化后的隐藏特征中得到的多尺度上下文特征则有：其中，downsample表示下采样，表示卷积核大小为5
×5×
5的三维上下文模型，表示卷积核大小为7
×7×
7的三维上下文模型，表示卷积核大小为9
×9×
9的三维上下文模型；23)将多尺度上下文特征和超先验特征结合之后，利用超先验解码器解算得到高
斯混合模型的模型参数以及权重，则有：其中，ω
i
，μ
i
，分别表示高斯混合模型中第i个高斯模型的权重，均值以及方差，表示第i个超先验解码器；24)根据权重将三个高斯函数组合成为高斯混合模型作为熵模型，计算得到隐藏特征概率分布的估计，则有：其中，为基于超先验特征的隐藏特征的条件概率分布，为基于参数ω
i
，μ
i
的高斯概率分布，为范围从-到的均匀分布噪声。4.根据权利要求2所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，所述的步骤3)具体包括以下步骤：31)为防止模型训练时出现梯度消失现象，在训练图像压缩模型阶段，量化过程被替换为添加独立同分布的均匀噪声；32)在图像压缩模型的使用过程中，隐藏特征被量化，并且基于超先验编码器得到的熵模型计算出特征的概率分布，并且采用熵编码中的算数编码对量化的特征进行编码。5.根据权利要求1所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，所述的步骤4)具体包括以下步骤：41)将隐藏特征经过主解码器中的残差块和升采样重新变为图片，则有：其中，g
s
(
·
)表示主解码器，为主解码器的参数，为重构的图片；42)将重构的图片和原始图片x进行客观和主观指标上的对比，从而评估模型的压缩效果和重构效果。6.根据权利要求5所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，所述的步骤42)中，客观和主观指标包括psnr和ms-ssim。7.根据权利要求1所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，所述的步骤1)中，基于多尺度空间和上下文信息融合的图像压缩模型由主编码器、超先验编码器、超先验解码器、主解码器以及多尺度三维上下文模块。8.根据权利要求7所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，图像压缩模型在训练时，为平衡码率和图像重构质量之间的关系，训练的目标函数被设置为：其中，λ为平衡码率和图像重构质量的超参数，和分别为量化后的隐藏特征和量化后的超先验特征的码率，d(
·
)表示原始图片和重构图片之间的差别，采用mse和ms-ssim作为衡量标准，当采用mse优化模型时，则模型的评价标准为psnr，当采用ms-ssim优化模型时，则模型的评价标准为ms-ssm。
9.根据权利要求8所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，为加快模型收敛的速度，首先在高码率下进行预训练，之后修改λ的取值，将模型的码率调整到其他值。10.根据权利要求8所述的一种基于多尺度空间和上下文信息融合的图像压缩方法，其特征在于，在训练预训练模型时，学习率随迭代次数下降，在训练其他码率的模型时，学习率初始值增大且随迭代次数下降。

技术总结
本发明涉及一种基于多尺度空间和上下文信息融合的图像压缩方法，该方法包括以下步骤：1)构建基于多尺度空间和上下文信息融合的图像压缩模型，通过主编码器从原始图像中提取隐藏特征，并采用多尺度信息融合模块减少向前传播有效信息的损失；2)超先验模块将超先验信息和多尺度上下文信息结合，获取三个高斯函数的参数及权重，以权重相加后得到高斯混合模型得到隐藏特征的概率分布；3)基于隐藏特征的概率分布，算数编码器对隐藏特征进行编码和解码；4)主解码器将隐藏特征重构成为图片，完成图像压缩。与现有技术相比，本发明能够实现在压缩码率更低的情况下，更加优秀的图像重构质量。量。量。


技术研发人员：王瀚漓 刘自毅
受保护的技术使用者：同济大学
技术研发日：2022.03.09
技术公布日：2022/7/26