一种基于双提示引导Transformer的图像恢复方法

本发明涉及图像处理，尤其涉及一种基于双提示引导transformer的图像恢复方法。

背景技术：

1、图像恢复旨在将输入的退化图像恢复为干净的图像，与设计先验的传统方法相比，基于卷积神经网络(convolutional neural network，简称cnn)的解决方案因其优越的性能而成为近年的首选。然而，cnn网络的基本模块，卷积的内在属性，即卷积操作的有限的感受野和独立于输入内容的特性，阻碍了模型估计全局依赖关系。为了解决这些局限性，基于transformer的模型被引入用于各种修复任务。尽管现有的工作已经取得了不错的性能，但障碍仍然存在，现存的基于transformer的工作大多考虑挖掘空间信息对实现退化区域的恢复，考虑到transformers的核心组件，即自注意力机制的本质为低通滤波器，其在挖掘高频信息方面效果较差，因此，目前迫切的需要设计一种方法，以确保基于transformer的方法能够同时模拟高频局部细节和低频非局部结构，从而更好地恢复图像。

技术实现思路

1、本发明旨在至少解决相关技术中存在的技术问题之一。为此，本发明提供一种基于双提示引导transformer的图像恢复方法。

2、本发明提供一种基于双提示引导transformer的图像恢复方法，包括如下步骤：

3、s1：通过卷积层提取图像的第一浅层特征和第二浅层特征；

4、s2：通过增强型动态解耦器模块对第一浅层特征解耦，获得低频特征和高频特征；

5、s3：通过高频提示调制器处理高频特征，获得高频提示特征；

6、s4：通过低频提示调制器处理低频特征，获得低频提示特征；

7、s5：通过解码器和编码器网络将第二浅层特征改进为深层特征，根据深层特征修改低频提示特征，获得低频输出特征；根据深层特征修改高频提示特征，获得高频输出特征；

8、s6：将低频输出特征和高频输出特征输入图像重建模块，生成重建后的图像。

9、根据本发明提供的一种基于双提示引导transformer的图像恢复方法，还包括所述s2步骤中增强型动态解耦器通过低通滤波器将第一浅层特征生成低通滤波器特征，通过门控机制强化低通滤波器特征获得低频特征，通过从恒等核中去除低通滤波器特征得到相应的高通滤波器特征，通过门控机制强化高通滤波器特征获得高频特征。

10、根据本发明提供的一种基于双提示引导transformer的图像恢复方法，还包括所述s2步骤中增强型动态解耦器模块解耦过程包括：

11、s21:通过低通滤波器将第一浅层特征生成低通滤波器特征，低通滤波器特征表达式为：

12、

13、其中，为低通滤波器特征，为第一浅层特征，为全局平均池化操作，为1×1卷积；

14、通过门控机制强化低通滤波器特征获得低频映射特征，低频映射特征表达式为：

15、

16、其中，为低频映射特征，为逐元素相乘，为sigmoid激活函数；

17、通过归一化低频映射特征，获得学习到的低通滤波器特征，学习到的低通滤波器特征表达式为：

18、

19、其中，为学习到的低通滤波器特征，为批归一化函数，是softmax激活函数；

20、s22:通过学习到的低通滤波器特征处理输入的第一浅层特征，获得低频特征，低频特征表达式为：

21、

22、其中，为第组c通道坐标为、图像的低频特征，为组序号，为具体的通道序号，为空间坐标的高度坐标，为空间坐标的宽度坐标，为学习到的转换维度的低通滤波器特征，为相对于h的空间点偏移量，为相对于w的空间点偏移量，为输入的第组c通道坐标为、图像的第一浅层特征；

23、s23:通过从恒等核中减去低通滤波器特征，获得高通滤波器特征，通过高频滤波器特征处理输入的第一浅层特征，获得高频特征，高频特征表达式为：

24、=-

25、其中，为第组c通道坐标为、图像的高频特征。

26、根据本发明提供的一种基于双提示引导transformer的图像恢复方法，还包括所述s3步骤中高频提示调制器实现过程包括：

27、s31:给定第一浅层特征和对应的高频特征，通过调整高频特征的分辨率，获得与第一浅层特征相同分辨率的同频高频特征;

28、s32:通过门控机制处理同频高频特征，获得处理后的高频特征，处理后的高频特征表达式为：

29、

30、其中，为处理后的高频特征，为同频高频特征，为逐元素相乘，是3×3深度可分离卷积，是gelu激活函数；

31、s33:通过可学习的高频提示组件对处理后的高频特征进行调整，得到高频提示特征，高频提示特征表达式为：

32、

33、其中，为高频提示特征，为可学习的高频提示组件。

34、根据本发明提供的一种基于双提示引导transformer的图像恢复方法，还包括所述s4步骤中低频提示调制器的实现过程包括：

35、s41:给定第一浅层特征和对应的低频特征，通过调整低频特征的分辨率，获得与第一浅层特征相同分辨率的同频低频特征;

36、s42:通过门控机制处理同频低频特征，获得处理后的低频特征，处理后的低频特征表达式为：

37、

38、其中，为处理后的低频特征，为快速傅立叶变换，为同频低频特征，为逐元素相乘，为1×1卷积，是gelu激活函数；

39、s43:通过可学习的低频提示组件对处理后的低频特征进行调整，得到低频提示特征，低频提示特征表达式为：

40、

41、其中，为低频提示特征，为逆快速傅立叶变换，为可学习的低频提示组件。

42、根据本发明提供的一种基于双提示引导transformer的图像恢复方法，还包括所述s5步骤包括：

43、s51:通过高通滤波器增强高频特征，获得高频键矩阵以及高频值矩阵；

44、s52:通过注意力矩阵调整高频提示特征，获得高频输出特征，高频输出特征表达式为：

45、

46、其中，为高频输出特征，为高频键矩阵，为高频值矩阵，为高频查询矩阵，为多头注意力机制中具体头的通道维度，是softmax激活函数；

47、s53:通过低通滤波器增强低频特征，获得低频键矩阵以及低频值矩阵；

48、s54:通过注意力矩阵调整低频提示特征，获得低频输出特征，低频输出特征表达式为：

49、

50、其中，为低频输出特征，为低频键矩阵，为低频值矩阵，为低频查询矩阵，是可学习的比例因子。

51、根据本发明提供一种基于双提示引导transformer的图像恢复方法，还包括所述s5步骤中，第二浅层特征经过l级编码器和l级解码器，获得改进后的深层特征，l级编码器和l级解码器共享相同的多头自注意块模块。

52、根据本发明提供的一种基于双提示引导transformer的图像恢复方法，还包括l级解码器通过自注意块模块、特征下采样的卷积层以及前馈网络获得解码器特征，l级编码器通过自注意块模块以及特征上采样的卷积层获得编码器特征，解码器特征通过跳跃连接和1x1的卷积实现与编码器特征的融合。

53、根据本发明提供一种基于双提示引导transformer的图像恢复方法，还包括所述s3步骤还包括高频提示调制器通过局部增强的门控机制获得高频特征，通过局部交叉注意力对高频特征交互进行编码。

54、根据本发明提供一种基于双提示引导transformer的图像恢复方法，还包括所述s4步骤还包括低频提示调制器通过傅里叶域中的门控机制增强低频特性，通过全局交叉注意力对低频特征相互作用进行编码。

55、本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

56、本发明设计了一种基于提示学习的图像恢复模型，通过利用多尺度分辨率下不同频率范围内的特征来提示模型恢复更清晰的图像；本发明设计了一种增强型动态解耦器，通过动态学习的滤波器有效地将输入特征解耦为单独的频率部分；同时，本发明设计了双提示模块，包括低频提示调制器和高频提示调制器，分别处理低频和高频信号，本发明通过利用多尺度分辨率下不同频率范围内的特征来提示模型恢复更清晰的图像，提高了图像恢复的精度，恢复效果更好。

57、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。