基于卷积伪逆和零值域分解的端到端图像及视频压缩方法

本发明涉及图像和视频处理，尤其涉及一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法及系统。

背景技术：

1、随着神经网络技术的发展，基于深度学习的端到端图像及视频压缩方法也应运而生。目前的端到端图像及视频压缩方法，在多次压缩环境下没有或较少考虑编码模块和解码模块的相互关系，导致解码后再编码时产生较大误差。这一误差会在多次重复压缩过程中逐渐积累，导致明显的率-失真性能衰减现象。

2、针对这一问题，现有端到端图像及视频压缩方法尝试优化编码模块和解码模块的相互关系，将编码模块和解码模块构建为互逆的两个模块。但是，要在端到端可学习的条件下构建互逆模块是困难的，需要牺牲这些模块的性能并降低运行速度，进而导致整体编解码时间变长。

3、因此，亟需一种提高多次重复压缩环境下的重复压缩的率-失真性能，并提升编解码速度图像及视频压缩的方法。

技术实现思路

1、本发明提供一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法及系统，用以解决现有技术中重复压缩的率-失真性能衰减及编解码时间较长的缺陷，实现在多次压缩环境下快速的且保持率-失真性能的端到端图像及视频编码。

2、本发明提供一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，包括：基于预训练压缩模型对待压缩图像及视频进行多次压缩，得到压缩后图像及视频；所述压缩模型包括编码模块和解码模块；所述解码模块为所述编码模块的伪逆模块；所述编码模块包括若干个分块卷积层、耦合增强层和非线性耦合层，所述解码模块包括若干个逆耦合增强层、伪逆分块卷积层和逆非线性耦合层；所述分块卷积层用于对所述待压缩图像或视频帧进行分块卷积变换，得到分块卷积后的图像或视频帧；所述分块卷积变换为输出所述待压缩图像或视频帧的每个位置所对应的接收域不重叠的卷积变换；所述耦合增强层用于对所述分块卷积后的图像或视频帧进行耦合增强处理，得到耦合增强后的图像或视频帧；所述耦合增强处理为去除所述分块卷积后的图像或视频帧的瑕疵；所述非线性耦合层用于对所述耦合增强后的图像或视频帧进行非线性耦合处理，得到非线性耦合后的图像或视频帧；所述逆耦合增强层用于对所述非线性耦合后的图像或视频帧进行逆耦合增强处理，得到逆耦合增强后的图像或视频帧；所述逆耦合增强处理为去除所述非线性耦合后的图像或视频帧的瑕疵；所述伪逆分块卷积层用于对所述逆耦合增强后的图像或视频帧进行伪逆分块卷积变换，得到伪逆分块卷积后的图像或视频帧；所述伪逆分块卷积变换为所述分块卷积变换的伪逆变换；所述伪逆分块卷积层还包括零空间分解及自适应函数；所述零空间分解及自适应函数用于分解若干个零空间，若干个所述零空间与所述伪逆分块卷积后的图像或视频帧对应；所述逆非线性耦合层用于对所述伪逆分块卷积后的图像或视频帧进行逆非线性耦合处理，得到逆非线性耦合后的图像或视频帧。

3、根据本发明提供的一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，所述基于预训练压缩模型对待压缩图像或视频进行多次压缩之前，还包括：构建模型数据集，所述模型数据集包括训练集、验证集和测试集；根据所述训练集对所述压缩模型进行训练；在训练迭代次数达到预设次数的情况下，根据所述验证集对所述压缩模型进行验证，以根据所述测试集，基于训练好的所述压缩模型对所述待压缩图像或视频进行多次压缩。

4、根据本发明提供的一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，所述压缩模型还包括第一量化模块、第一算术编码模块和第一算术解码模块；所述第一量化模块用于对所述编码模块的输出量进行量化处理，得到量化潜在表示；所述第一算术编码模块用于对所述量化潜在表示进行算术编码处理，得到第一压缩比特流；所述第一算术解码模块用于对所述第一压缩比特流进行算术解码处理，得到所述解码模块的输入量。

5、根据本发明提供的一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，所述压缩模型还包括超先验编码模块、第二量化模块、第二算术编码模块、第二算术解码模块和超先验解码模块；所述超先验编码模块用于对所述编码模块的输出量进行超先验编码处理，得到超先验潜在表示；所述第二量化模块用于对超先验潜在表示进行量化处理，得到量化后的超先验潜在表示；所述第二算术编码模块用于所述量化后的超先验潜在表示进行算术编码处理，得到第二压缩比特流；所述第二算术解码模块用于对所述第二压缩比特流进行算术解码处理，得到解码后的超先验潜在表示；所述超先验解码模块用于对解码后的超先验潜在表示进行超先验解码处理，得到超先验重建特征；所述超先验重建特征用于捕捉所述第一算术编码模块与所述第二算术解码模块的空间耦合性。

6、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于卷积伪逆和零值域分解的端到端图像及视频压缩方法。

7、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于卷积伪逆和零值域分解的端到端图像及视频压缩方法。

8、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于卷积伪逆和零值域分解的端到端图像及视频压缩方法。

9、本发明提供的一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法及系统。该方法包括：基于预训练压缩模型对待压缩图像或视频进行多次压缩，得到压缩后图像或视频；压缩模型包括编码模块和解码模块；解码模块为编码模块的伪逆模块；编码模块包括若干个分块卷积层、耦合增强层和非线性耦合层，解码模块包括若干个逆耦合增强层、伪逆分块卷积层和逆非线性耦合层。压缩后图像或视频与待压缩图像或视频之间的误差不再会随着多次压缩而积累，进而保证了多次压缩的率-失真性能。此外，解码模块为编码模块的伪逆，能够在保证模块性能的情况下缩短整体编解码时间，提高运行速度。

技术特征：

1.一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，其特征在于，包括：

2.根据权利要求1所述的基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，其特征在于，所述基于预训练压缩模型对待压缩图像或视频进行多次压缩之前，还包括：

3.根据权利要求1所述的基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，其特征在于，所述压缩模型还包括第一量化模块、第一算术编码模块和第一算术解码模块；

4.根据权利要求3所述的基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，其特征在于，所述压缩模型还包括超先验编码模块、第二量化模块、第二算术编码模块、第二算术解码模块和超先验解码模块；

5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于卷积伪逆和零值域分解的端到端图像及视频压缩方法。

6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于卷积伪逆和零值域分解的端到端图像及视频压缩方法。

7.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于卷积伪逆和零值域分解的端到端图像及视频压缩方法。

技术总结本发明提供一种基于卷积伪逆和零值域分解的端到端图像及视频压缩方法，包括：基于预训练压缩模型对待压缩图像或视频进行多次压缩，得到压缩后图像或视频；压缩模型包括编码模块和解码模块；解码模块为编码模块的伪逆模块；编码模块包括若干个分块卷积层、耦合增强层和非线性耦合层，解码模块包括若干个逆耦合增强层、伪逆分块卷积层和逆非线性耦合层。压缩后图像或视频与待压缩图像或视频之间的误差不再会随着多次压缩而积累，进而保证了多次压缩的率‑失真性能。此外，解码模块为编码模块的伪逆，能够在保证模块性能的情况下缩短整体编解码时间，提高运行速度。技术研发人员：王岩受保护的技术使用者：清华大学技术研发日：技术公布日：2024/7/25