图像处理方法及装置、存储介质、终端、计算机程序产品与流程

本发明涉及图像处理，具体地涉及一种图像处理方法及装置、存储介质、终端、计算机程序产品。

背景技术：

1、在图像处理技术中，通过对图像进行超分辨率处理(简称超分处理)，可以通过利用图像中的信息和先验知识，推测和还原图像中丢失的细节，从而增加图像的清晰度和细节程度，从低分辨率(low-resolution，lr)图像重建出高分辨率(high-resolution，hr)图像。

2、现有技术中，提供了一种基于传统分辨率转换算法结合卷积神经网络的图像超分辨率处理方法。具体而言，该方法采用双三次(bicubic)插值算法，对输入图像进行分辨率转换，得到具有目标分辨率的基础图像；以及采用卷积神经网络提取输入图像中的细节信息，以用于对bicubic插值算法输出的基础图像进行细节补充和增强；最后对基础图像和神经网络输出的细节信息进行求和，得到超分处理后的图像。

3、然而，在上述处理过程中，由于神经网络的不可解释性，不可避免会出现一些噪声问题，其中一种常见噪声是平坦区域(具体指图像的像素差异较小的区域)的异常噪声问题。这种噪声问题使得图像超分时的效果受到严重影响。

技术实现思路

1、本发明实施例解决的技术问题是在对图像进行超分处理过程中，如何有效抑制图像平坦区域的噪声，获得质量更高的图像。

2、为解决上述技术问题，本发明实施例提供一种图像处理方法，包括以下步骤：对输入图像进行分辨率转换处理，得到第一图像，以及对所述输入图像进行图像增强处理，得到第二图像，其中，所述第一图像的像素和所述第二图像的像素一一对应；对所述第一图像的每个像素进行局部像素差异分析，得到该像素对应的局部差异值，并基于该局部差异值确定该像素在所述第二图像中的对应像素的加权系数，其中，所述局部差异值越大，对应的加权系数越大；对于所述第二图像的每个像素，采用该像素的加权系数与该像素的像素值的乘积，更新该像素的像素值，从而得到更新后的第二图像；对所述第一图像和所述更新后的第二图像的每对像素的像素值进行求和，得到处理后图像。

3、可选的，对所述第一图像的每个像素进行局部像素差异分析，得到该像素对应的局部差异值，包括：对所述第一图像的每个像素，分别计算该像素与其周围预设区域内的各像素的像素值之差；采用计算得到的各个差的绝对值中的最大值，作为该像素对应的局部差异值。

4、可选的，对所述第一图像的每个像素进行局部像素差异分析，得到该像素对应的局部差异值，包括：对所述第一图像的每个像素，分别计算该像素与其周围预设区域内的各像素的像素值之差；采用计算得到的各个差的绝对值的总和，作为该像素对应的局部差异值。

5、可选的，基于该局部差异值确定该像素在所述第二图像中的对应像素的加权系数，包括：将该局部差异值作为自变量输入预设的映射函数，并将所述映射函数的函数值作为该像素在所述第二图像中的对应像素的加权系数。

6、可选的，所述映射函数为包含多段线性函数的分段函数，所述多段线性函数的斜率呈递增关系。

7、可选的，所述多段线性函数均为一次函数，所述映射函数采用下述表达式表示：

8、

9、其中，y表示所述映射函数的函数值，x表示所述映射函数的自变量，k1x+b1表示第一段线性函数，k2x+b2表示第二段线性函数，knx+bn表示第n段线性函数，k1～kn分别表示第一段线性函数至第n段线性函数的斜率，b1～bn分别表示第一段线性函数至第n段线性函数的截距，n越大，线性函数的斜率越大，n为正整数，th1～thn-1分别表示所述映射函数的分割点。

10、本发明实施例还提供一种图像处理装置，包括：图像初步处理模块，用于对输入图像进行分辨率转换处理，得到第一图像，以及对所述输入图像进行图像增强处理，得到第二图像，其中，所述第一图像的像素和所述第二图像的像素一一对应；像素差异分析模块，用于对所述第一图像的每个像素进行局部像素差异分析，得到该像素对应的局部差异值，并基于该局部差异值确定该像素在所述第二图像中的对应像素的加权系数，其中，所述局部差异值越大，对应的加权系数越大；像素加权模块，用于对于所述第二图像的每个像素，采用该像素的加权系数与该像素的像素值的乘积，更新该像素的像素值，从而得到更新后的第二图像；像素求和模块，用于对所述第一图像和所述更新后的第二图像的每对像素的像素值进行求和，得到处理后图像。

11、本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图像处理方法的步骤。

12、本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图像处理方法的步骤。

13、本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器运行时执行上述图像处理方法的步骤。

14、与现有技术相比，本发明实施例的技术方案具有以下有益效果：

15、在本发明实施例中，通过对输入图像分别进行分辨率转换处理和图像增强处理，得到第一图像(可称为分辨率转换图像)和第二图像(可称为增强图像)；对第一图像的像素进行局部差异分析(即，局部平坦度分析)，并基于第一图像中像素的局部差异值确定第二图像中对应像素的加权系数，根据所述加权系数对第二图像的各像素的原始像素值进行加权，得到更新后的第二图像；对第一图像和更新后的第二图像的每对像素的像素值进行求和，得到处理后图像。其中，第一图像的像素的局部差异越大(即，平坦度越低)，该像素在第二图像中对应像素的加权系数越大，进而对后续图像像素求和运算的参与程度越大，相反地，第一图像的像素的局部差异越小(即，平坦度越大)，该像素在第二图像中对应像素的加权系数越小，进而对后续图像像素求和运算的参与程度越小。

16、由于增强图像(即，第二图像)用于对分辨率转换图像(即，第一图像)进行图像细节补充及增强，本实施方案通过对分辨率转换图像进行平坦度分析，适应性调整增强图像中各像素的加权系数，进而调整增强图像的不同像素对于分辨率转换图像的细节补强的影响程度，实现对分辨率转换图像中像素差异小的图像区域细节补强程度低，对分辨率转换图像中像素差异大的图像区域细节补强程度高。由此，可以在实现图像超分处理和细节增强的同时，有效抑制图像中平坦区域产生噪声，获得更清晰、质量更高的图像。

17、进一步，在本发明实施例中，通过采用斜率呈递增关系的分段线性函数，可以实现第二图像中像素的加权系数的变化速率随第一图像中像素的局部差异值的增大而增大，也即，第一图像中像素的局部差异值越小，该像素在第二图像中的对应像素的加权系数的增加量越小(变化越平缓)，该像素在后续参与求和运算的程度越低，对于像素值求和得到的处理后图像的影响程度越弱；相反地，第一图像中像素的局部差异值越大，该像素在第二图像中的对应像素的加权系数的增加量越大(变化越显著)，该像素在后续步参与求和运算的程度越大，对于像素值求和得到的处理后图像的影响程度越大。由此，既有助于有效抑制图像的原有平坦区域的噪声，又有助于图像中原有的非平坦区域的细节补充和强化，获得高清晰度、高对比度的、质量更佳的超分图像。