用于图像和视频编码的基于全局跳过连接的CNN滤波器的制作方法

技术特征：
1.一种用于修改输入图像(110)的方法(100)，其特征在于，包括：通过使用神经网络处理所述输入图像(110)来生成校正图像，其中，所述使用神经网络进行的处理包括：图像下采样和对所述下采样图像进行滤波的至少一个阶段(120)；图像上采样的至少一个阶段(130)；通过将所述输入图像与所述校正图像组合来修改(140)所述输入图像。2.根据权利要求1所述的方法，其特征在于，所述校正图像(520)和所述输入图像(510)具有相同的垂直尺寸和水平尺寸；所述校正图像(520)是差分图像，并且通过将所述差分图像添加到所述输入图像(510)来进行所述组合。3.根据权利要求1或2所述的方法，其特征在于，所述神经网络基于u-net，为了建立所述神经网络，通过将跳过连接(599)引入到所述u-net来修改所述u-net，所述跳过连接(599)用于将所述输入图像与所述输出图像相连。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述神经网络根据表示所述输入图像的失真量或失真类型的参数的值参数化。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述图像下采样(120)是通过应用跨步卷积和/或应用填充卷积执行的。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述神经网络的激活函数为泄露型修正线性单元激活函数。7.一种用于根据码流重建经编码图像的方法，其特征在于，所述方法包括：从所述码流(21)中解码所述经编码图像；应用根据权利要求1至6中任一项所述的用于修改输入图像的方法(100)，其中，所述输入图像是所述经解码图像(331)。8.一种用于视频的压缩图像的方法，其特征在于，包括：根据存储在存储器中的参考图像(331)，使用图像预测(244、254、344、354)重建图像(214、314)，应用根据权利要求1至6中任一项所述的用于修改输入图像的方法(100)，其中，所述输入图像是所述重建图像(215、315)；将所述修改后的图像作为参考图像存储到所述存储器(230、330)中。9.一种用于训练神经网络以修改失真图像的方法，其特征在于，所述方法包括：将作为目标输入的失真图像(2005)和作为目标输出的校正图像(2002)对输入到所述神经网络，其中，所述校正图像(2002)是根据原始图像获取(2010)的，其中，使用所述神经网络进行的处理(2020)包括图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段，根据所述输入的对(2002、2005)调整(2030)所述滤波的至少一个参数(2040)。10.根据权利要求9所述的方法，其特征在于，根据与均方差(mean squared error，mse)对应的损失函数调整(2030)所述滤波的至少一个参数。11.根据权利要求9或10所述的方法，其特征在于，根据包括多个颜色通道的平方差加权平均值的损失函数调整(2030)所述滤波的至少一个参数。12.一种计算机程序(810)，其特征在于，当在一个或多个处理器(802)上执行时，使得
所述一个或多个处理器(802)执行根据权利要求1至11中任一项所述的方法的步骤。13.一种用于修改输入图像的设备(1100)，其特征在于，包括：处理单元(1110)，用于通过使用神经网络处理所述输入图像来生成校正图像，其中，所述使用神经网络进行的处理包括：图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段；修改单元(1120)，用于通过将所述输入图像与所述校正图像组合来修改所述输入图像。14.一种用于根据码流重建经编码图像的设备，其特征在于，包括：解码单元(1810)，用于从所述码流中解码所述经编码图像；所述设备(1820)用于根据权利要求13修改所述经解码图像。15.一种用于重建视频的压缩图像的设备，其特征在于，包括：重建单元(1710)，用于根据存储在存储器中的参考图像使用图像预测来重建图像；所述设备(1100)用于根据权利要求13修改所述经解码图像；存储单元(1730)，用于存储所述修改后的图像作为参考图像。16.一种用于训练神经网络修改失真图像的设备，其特征在于，包括：训练输入单元(2010)，用于将作为目标输入的失真图像(2005)和作为目标输出的校正图像(2002)对输入到所述神经网络，其中，所述校正图像(2002)是根据原始图像获取的；处理单元(2020)，用于使用所述神经网络进行处理，其中，所述使用神经网络进行的处理包括：图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段；调整单元(2020)，用于根据所述输入的对(2002、2005)调整所述滤波的至少一个参数(2040)。

技术总结
本发明涉及图像处理，尤其涉及使用神经网络等进行处理对图像进行修改。执行所述处理以根据输入图像生成校正图像。然后，通过将所述输入图像与所述校正图像组合来修改所述输入图像。所述使用所述神经网络进行的处理包括图像下采样和对所述下采样图像进行滤波的至少一个阶段；图像上采样的至少一个阶段。这种方法的一个优点是提高了所述神经网络的效率，从而可以加快学习速度并且提高性能。本发明的实施例提供了用于使用训练后的神经网络进行处理的方法和装置，以及用于训练这种神经网络进行图像修改的方法和装置。行图像修改的方法和装置。行图像修改的方法和装置。


技术研发人员：陈虎 拉尔斯
受保护的技术使用者：华为技术有限公司
技术研发日：2021.04.20
技术公布日：2022/12/30