图像处理方法、装置、计算机设备及存储介质与流程

本技术实施例涉及计算机，特别涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术：

1、图像去模糊是指对输入的模糊图像进行去模糊处理，生成清晰图像，是计算机视觉领域重要的研究方向之一，在自动驾驶或媒体处理等领域有非常广泛的应用。

2、相关技术中，采用卷积神经网络，以端到端的方式学习模糊图像和清晰图像之间的映射关系，利用模糊图像和清晰图像之间的映射关系，从模糊图像中恢复出清晰图像。但是，该方法容易忽略掉清晰图像中的高频的细节信息和纹理信息，导致图像去模糊的效果不佳。

技术实现思路

1、本技术实施例提供了一种图像处理方法、装置、计算机设备及存储介质，能够提高图像去模糊的精度和效果。所述技术方案如下：

2、一方面，提供了一种图像处理方法，所述方法包括：

3、对第一图像进行特征提取，得到第一图像特征；

4、对所述第一图像特征进行频域解耦，得到第一高频特征和第一低频特征；

5、基于高频权重参数和低频权重参数，将所述第一高频特征和所述第一低频特征进行融合，得到第二图像特征，所述高频权重参数和所述低频权重参数是基于样本模糊图像和对应的样本清晰图像进行深度学习得到的；

6、采用第一卷积核对所述第二图像特征进行卷积，得到差异图像，所述差异图像表示所述第一图像与对应的清晰图像之间的差异信息，所述第一卷积核是基于所述样本模糊图像和所述样本清晰图像进行深度学习得到的；

7、将所述第一图像与所述差异图像进行融合，得到第二图像，所述第二图像的清晰度大于所述第一图像的清晰度。

8、可选地，所述采用第二卷积核对所述第三图像特征进行卷积，得到低通滤波核，包括：

9、采用所述第二卷积核对所述第三图像特征进行卷积，将卷积得到的结果确定为滤波核，所述滤波核包括m个通道，m为正整数；

10、将所述滤波核在通道维度划分为k个所述低通滤波核，每个低通滤波核包括n个通道，n与k的乘积等于m，n与k均为正整数；

11、所述将恒等滤波核与所述低通滤波核相减，得到高通滤波核，包括：

12、将所述恒等滤波核分别与k个所述低通滤波核相减，得到k个所述高通滤波核。

13、可选地，所述将所述第一图像特征按照频率划分为第二高频特征和第二低频特征，包括：

14、对所述第一图像特征进行全局平均池化，得到所述第二低频特征；

15、将所述第一图像特征与所述第三低频特征相减，得到所述第二高频特征。

16、可选地，所述基于所述高频权重参数和所述低频权重参数，将候选高频特征和所述候选低频特征进行融合，得到候选图像特征，包括：

17、在当前轮次的频域解耦的次数大于第二目标次数且不大于第三目标次数的情况下，基于所述高频权重参数和所述低频权重参数，将当前轮次得到的所述候选高频特征和所述候选低频特征进行加权求和，得到当前轮次的所述候选图像特征，所述第三目标次数不大于所述第一目标次数，所述第三目标次数大于所述第二目标次数。

18、可选地，所述基于所述预测图像与所述样本清晰图像之间的差异度，训练所述图像处理模型，包括：

19、对于获取到的y个所述预测图像，基于每个所述预测图像与所述样本清晰图像之间的差异度，确定损失参数，所述损失参数与每个所述预测图像对应的差异度正相关；

20、基于所述损失参数，训练所述图像处理模型，以使通过调用训练后的所述图像处理模型得到的所述损失参数减小。

21、另一方面，提供了一种图像处理装置，所述装置包括：

22、特征提取模块，用于对第一图像进行特征提取，得到第一图像特征；

23、频域解耦模块，用于对所述第一图像特征进行频域解耦，得到第一高频特征和第一低频特征；

24、特征融合模块，用于基于高频权重参数和低频权重参数，将所述第一高频特征和所述第一低频特征进行融合，得到第二图像特征，所述高频权重参数和所述低频权重参数是基于样本模糊图像和对应的样本清晰图像进行深度学习得到的；

25、卷积模块，用于采用第一卷积核对所述第二图像特征进行卷积，得到差异图像，所述差异图像表示所述第一图像与对应的清晰图像之间的差异信息，所述第一卷积核是基于所述样本模糊图像和所述样本清晰图像进行深度学习得到的；

26、图像融合模块，用于将所述第一图像与所述差异图像进行融合，得到第二图像，所述第二图像的清晰度大于所述第一图像的清晰度。

27、可选地，所述频域解耦模块，用于：

28、将所述第一图像特征按照频率划分为第二高频特征和第二低频特征，对所述第二高频特征和所述第二低频特征进行融合，得到第三图像特征；

29、对所述第三图像特征进行高通滤波，得到所述第一高频特征，对所述第三图像特征进行低通滤波，得到所述第一低频特征。

30、可选地，所述装置还包括：

31、滤波核生成模块，用于采用第二卷积核对所述第三图像特征进行卷积，得到低通滤波核，所述第二卷积核是基于所述模糊图像和所述清晰图像进行深度学习得到的；

32、所述滤波核生成模块，还用于将恒等滤波核与所述低通滤波核相减，得到高通滤波核，所述恒等滤波核的通道数与所述低通滤波核的通道数相等，且所述恒等滤波核的其中一个通道的特征值均为1，其他通道的特征值均为0；

33、所述频域解耦模块，用于采用所述高通滤波核对所述第三图像特征进行高通滤波，得到所述第一高频特征，采用所述低通滤波核对所述第三图像特征进行低通滤波，得到所述第一低频特征。

34、可选地，所述低通滤波核的个数为k个，每个低通滤波核的通道数为n，所述高通滤波核的个数为k个，每个高通滤波核的通道数为n；所述频域解耦模块，用于：

35、将所述第三图像特征在通道维度划分为k个第三图像子特征，其中，所述低通滤波核对应的像素点的个数、所述高通滤波核对应的像素点的个数与所述第三图像子特征对应的像素点的个数与相等；

36、采用k个所述高通滤波核，分别对k个所述第三图像子特征进行高通滤波，得到k个第一高频子特征，k个所述第一高频子特征构成所述第一高频特征；

37、采用k个所述低通滤波核，分别对k个所述第三图像子特征进行低通滤波，得到k个第一低频子特征，k个所述第一低频子特征构成所述第一低频特征。

38、可选地，所述滤波核生成模块，用于采用所述第二卷积核对所述第三图像特征进行卷积，将卷积得到的结果确定为滤波核，所述滤波核包括m个通道，m为正整数；将所述滤波核在通道维度划分为k个所述低通滤波核，每个低通滤波核包括n个通道，n与k的乘积等于m，n与k均为正整数；

39、所述滤波核生成模块，还用于将所述恒等滤波核分别与k个所述低通滤波核相减，得到k个所述高通滤波核。

40、可选地，所述频域解耦模块，用于：

41、对所述第一图像特征进行全局平均池化，得到所述第二低频特征；

42、将所述第一图像特征与所述第三低频特征相减，得到所述第二高频特征。

43、可选地，所述频域解耦模块，用于：

44、对所述第一图像特征进行频域解耦，得到候选高频特征和候选低频特征，基于所述高频权重参数和所述低频权重参数，将候选高频特征和所述候选低频特征进行融合，得到候选图像特征；

45、对所述候选图像特征进行下一轮次的频域解耦，得到下一个所述候选高频特征和下一个所述候选低频特征，基于所述高频权重参数和所述低频权重参数，将下一个所述候选高频特征和下一个所述候选低频特征进行融合，得到下一个所述候选图像特征，直至当前轮次的频域解耦的次数达到第一目标次数，将当前轮次得到的候选高频特征确定为所述第一高频特征，将当前轮次得到的候选低频特征确定为所述第一低频特征。

46、可选地，所述频域解耦模块，用于：

47、在当前轮次的频域解耦的次数不大于第二目标次数的情况下，基于所述高频权重参数和所述低频权重参数，将当前轮次得到的所述候选高频特征和所述候选低频特征进行加权求和，得到第一参考图像特征，所述第二目标次数小于所述第一目标次数；

48、对所述第一图像进行尺度变换，对尺度变换后的所述第一图像进行特征提取，得到第二参考图像特征；

49、采用注意力机制对所述第一参考图像特征和所述第二参考图像特征进行特征提取，得到当前轮次的所述候选图像特征。

50、可选地，所述频域解耦模块，用于在当前轮次的频域解耦的次数大于第二目标次数且不大于第三目标次数的情况下，基于所述高频权重参数和所述低频权重参数，将当前轮次得到的所述候选高频特征和所述候选低频特征进行加权求和，得到当前轮次的所述候选图像特征，所述第三目标次数不大于所述第一目标次数，所述第三目标次数大于所述第二目标次数。

51、可选地，所述频域解耦模块，用于：

52、在当前轮次的频域解耦的次数大于第三目标次数的情况下，基于所述高频权重参数和所述低频权重参数，将当前轮次得到的所述候选高频特征和所述候选低频特征进行加权求和，得到第三参考图像特征，所述第三目标次数不大于所述第一目标次数；

53、将当前轮次之前的轮次中所得到的至少一个候选图像特征与所述第三参考图像特征进行融合，得到当前轮次的所述候选图像特征。

54、可选地，所述图像处理装置通过调用图像处理模型执行，所述图像处理模型包括特征提取网络、频域解耦网络、重标定网络和图像生成网络；

55、所述特征提取网络，用于对所述第一图像进行特征提取，得到所述第一图像特征；

56、所述频域解耦网络，用于对所述第一图像特征进行频域解耦，得到所述第一高频特征和所述第一低频特征；

57、所述重标定网络，用于基于所述高频权重参数和所述低频权重参数，将所述第一高频特征和所述第一低频特征进行融合，得到所述第二图像特征，所述高频权重参数和所述低频权重参数为所述重标定网络的网络参数；

58、所述图像生成网络，用于采用所述第一卷积核对所述第二图像特征进行卷积，得到所述差异图像，将所述第一图像与所述差异图像进行融合，得到所述第二图像，所述第一卷积核为所述图像生成网络的网络参数。

59、可选地，所述装置还包括：

60、所述特征提取模块，还用于调用所述特征提取网络，对所述样本模糊图像进行特征提取，得到第一样本图像特征；

61、所述频域解耦模块，还用于调用所述频域解耦网络，对所述第一样本图像特征进行频域解耦，得到第一样本高频特征和第一样本低频特征；

62、所述特征融合模块，还用于调用所述重标定网络，基于所述高频权重参数和所述低频权重参数，将所述第一样本高频特征和所述第一样本低频特征进行融合，得到第二样本图像特征；

63、所述卷积模块，还用于调用所述图像生成网络，采用所述第一卷积核对所述第二样本图像特征进行卷积，得到样本差异图像；

64、所述图像融合模块，还用于将所述样本模糊图像与所述样本差异图像进行融合，得到预测图像；

65、模型训练模块，用于基于所述预测图像与所述样本清晰图像之间的差异度，训练所述图像处理模型。

66、可选地，所述图像处理模型包括x个所述频域解耦网络和x个所述重标定网络，x为正整数；所述频域解耦模块，用于：

67、调用第一个所述频域解耦网络，对所述第一图像特征进行频域解耦，得到样本候选高频特征和样本候选低频特征；调用第一个所述重标定网络，基于第一个所述重标定网络中的所述高频权重参数和所述低频权重参数，将所述样本候选高频特征和所述样本候选低频特征进行融合，得到样本候选图像特征；

68、调用下一个所述频域解耦网络，对所述样本候选图像特征进行下一轮次的频域解耦，得到下一个所述样本候选高频特征和下一个所述样本候选低频特征；调用下一个所述重标定网络，基于下一个所述重标定网络中的所述高频权重参数和所述低频权重参数，将下一个所述样本候选高频特征和下一个所述样本候选低频特征进行融合，得到下一个所述样本候选图像特征，直至最后一个所述频域解耦网络输出所述样本候选高频特征和所述样本候选低频特征，将最后一个所述频域解耦网络输出的所述样本候选高频特征确定为所述第一样本高频特征，将最后一个所述频域解耦网络输出的所述样本候选低频特征确定为所述第一样本低频特征；

69、所述特征融合模块，还用于：

70、调用最后一个所述重标定网络，基于最后一个所述重标定网络中的所述高频权重参数和所述低频权重参数，将所述第一样本高频特征和所述第一样本低频特征进行融合，得到所述第二样本图像特征。

71、可选地，所述图像处理模型包括y个所述图像生成网络，y为不大于x的正整数；所述卷积模块，用于调用第z个所述图像生成网络，采用所述第一卷积核对第x-y+z个所述重标定网络输出的样本候选图像特征进行卷积，得到第z个所述样本差异图像；

72、所述图像融合模块，用于将所述样本模糊图像与第z个所述样本差异图像进行融合，得到第z个所述预测图像；其中，z为不大于y的正整数。

73、可选地，所述模型训练模块，用于：

74、对于获取到的y个所述预测图像，基于每个所述预测图像与所述样本清晰图像之间的差异度，确定损失参数，所述损失参数与每个所述预测图像对应的差异度正相关；

75、基于所述损失参数，训练所述图像处理模型，以使通过调用训练后的所述图像处理模型得到的所述损失参数减小。

76、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如上述方面所述的图像处理方法所执行的操作。

77、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现如上述方面所述的图像处理方法所执行的操作。

78、另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序由处理器加载并执行，以实现如上述方面所述的图像处理方法所执行的操作。

79、本技术实施例提供的方案，在对第一图像进行去模糊的过程中，将该第一图像的第一图像特征从频域的角度解耦为高频特征和低频特征，并基于权重参数对高频特征和低频特征进行融合，得到第二图像特征，由于该高频权重参数和低频权重参数是采用样本图像进行深度学习得到的，因此基于这些权重参数对频域特征进行赋权，能够专注于图像中更重要的高频信息。由于卷积核也是基于样本图像进行深度学习得到的，因此该卷积核能够学习到如何恢复出从模糊图像到清晰图像之间的差异信息，那么采用该卷积核对第二图像特征进行卷积，即可恢复出从该第一图像到清晰图像之间更高频的差异信息，从而得到包含更丰富的细节信息和纹理信息的第二图像，提高了图像去模糊的精度和效果。