基于小波变换和Transformer的轻量级图像超分辨率方法及装置

本发明涉及图像处理领域，具体涉及一种基于小波变换和transformer的轻量级图像超分辨率方法及装置。背景技术：：：1、单帧图像超分辨率（single image super-resolution, sisr）是计算机视觉领域中一项关键任务，其旨在从退化的低分辨率图像中还原出高分辨率图像。由于图像超分辨率能为图像带来更丰富、更有价值的细节，它被广泛应用于各种计算机视觉应用中，包括遥感图像、医疗成像、人脸识别和视频监控等。2、近年，transformer作为流行的深度学习骨干网络被广泛应用于图像超分辨率领域中。作为卷积神经网络的替代，transformer通过计算所有查询和键特征之间的相似性来捕捉长距离依赖。相关研究已经证明这种全局上下文建模方法在图像超分辨率展示出良好的潜力。其中，ipt（image processing transformer）模型是第一个用transformer处理图像超分辨率的工作，相比于先进的基于cnn的超分辨率模型展现出有竞争力的结果。后续大量工作通过设计多样的网络结构对ipt模型进行改进，例如多尺度特征聚合、局部-全局混合架构、全维度信息交互。上述工作表明激发更多的信息性像素用于特征聚合能为图像超分辨率带来可观的性能增益。然而，密集且重复的自注意力计算所带来的低效阻碍transformer在图像超分辨率中的应用。另外，现有前馈网络作为transformer的核心组件之一，忽略了对空间信息的建模，限制了超分辨率模型的性能。技术实现思路1、本技术的目的在于针对上述提到现有transformer方法计算复杂度过高的技术问题，提出一种基于小波变换和transformer的轻量级图像超分辨率方法及装置。2、第一方面，本发明提供了一种基于小波变换和transformer的轻量级图像超分辨率方法，包括以下步骤：3、获取待重建的低分辨率图像和上采样因子；4、构建基于小波变换和transformer的图像超分辨率模型并训练，得到经训练的图像超分辨率模型，图像超分辨率模型包括第一卷积层、亚像素卷积层、第二卷积层以及若干个依次连接的基于小波变换的transformer模块，基于小波变换的transformer模块包括第一层归一化单元、基于小波变换的自注意力模块、第二层归一化单元和组归一化前馈网络，基于小波变换的transformer模块的输入特征依次经过第一层归一化单元和基于小波变换的自注意力模块，基于小波变换的自注意力模块的输入特征与基于小波变换的transformer模块的输入特征相加，得到第一相加结果，第一相加结果依次经过第二层归一化单元和组归一化前馈网络，组归一化前馈网络的输出特征与第一相加结果再次相加，得到基于小波变换的transformer模块的输出特征；5、将待重建的低分辨率图像和上采样因子输入经训练的图像超分辨率模型，待重建的低分辨率图像输入第一卷积层，得到第一卷积层的输出特征并输入第一个基于小波变换的transformer模块，经过若干个基于小波变换的transformer模块的特征提取，将最后一个基于小波变换的transformer模块的输出特征与第一卷积层的输出特征相加，得到第二相加结果，第二相加结果依次经过亚像素卷积层和第二卷积层，得到高分辨率重建图像，其中亚像素卷积层的尺度因子为上采样因子。6、作为优选，基于小波变换的自注意力模块包括小波变换下采样模块、第一线性层、第二线性层、第三线性层和自注意力层；基于小波变换的自注意力模块的输入特征，其中c、h、w分别表示基于小波变换的自注意力模块的输入特征的通道数量、长度和宽度，表示实数集合；7、利用小波变换下采样模块对基于小波变换的自注意力模块的输入特征x执行缩放因子为2的下采样操作，得到下采样2倍的第一特征图，其表达式如下：8、；9、其中，表示小波变换下采样模块所对应的函数；10、将第一特征图划分为n个窗口尺寸为的第一非重叠窗口，其中，再利用第一线性层和第二线性层将第一非重叠窗口转化为键向量和值向量，其表达式如下：11、；12、；13、将基于小波变换的自注意力模块的输入特征x分割为n个窗口尺寸为s×s的第二非重叠窗口，其中，接着利用一个第三线性层将第二非重叠窗口转化为查询向量，其表达式如下：14、；15、将键向量、值向量和查询向量输入自注意力层执行自注意力计算，以获得增强特征，表达式如下：16、；17、其中，t表示转置操作，表示softmax函数；18、最后，将增强特征y的形状n×s2×c转换为c×h×w，并作为基于小波变换的自注意力模块的输出特征。19、作为优选，小波变换下采样模块包括依次连接的通道下采样卷积层、哈尔小波变换层、第一拼接层和第三卷积层；20、将基于小波变换的自注意力模块的输入特征x输入至一个缩放因子为4的通道下采样卷积层，将基于小波变换的自注意力模块的输入特征x的通道数缩小4倍，得到第一中间特征图，其表达式如下：21、；22、其中，表示缩放因子为4的通道下采样卷积层对应的函数，通道下采样卷积层的卷积核大小为1×1；23、利用哈尔小波变换层将第一中间特征图分解为4个子带图像、、和，其中，、、和分别为利用低频滤波器和三个高频滤波器、、对第一中间特征图执行步长为2的卷积操作获得，这四个滤波器被定义为：24、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>f</mi><mi>ll</mi></msub><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>；25、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>f</mi><mi>lh</mi></msub><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><mi>−</mi><mn>1</mn></mtd><mtd><mi>−</mi><mn>1</mn></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>；26、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>f</mi><mi>hl</mi></msub><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><mi>−</mi><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr><mtr><mtd><mi>−</mi><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>；27、<mstyledisplaystyle="true"mathcolor="#000000"><msub><mi>f</mi><mi>hh</mi></msub><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mi>−</mi><mn>1</mn></mtd></mtr><mtr><mtd><mi>−</mi><mn>1</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>；28、哈尔小波变换层的计算过程如下所示：29、；30、；31、；32、；33、其中，表示卷积操作，表示缩放因子为2的空间下采样；34、最后，通过第一拼接层将4个子带图像沿着通道维度拼接，随后利用卷积核大小为3×3的第三卷积层去除冗余特征，得到下采样2倍的特征图，其表达式如下：35、<mstyledisplaystyle="true"mathcolor="#000000"><msup><mi>x</mi><msub><mi>↓</mi><mn>2</mn></msub></msup><mi>=</mi><msub><mi>conv</mi><mrow><mn>3</mn><mi>×</mi><mn>3</mn></mrow></msub><mrow><mo>(</mo><mrow><mi>[</mi><msubsup><mi>x</mi><mi>ll</mi><mi>′</mi></msubsup><mi>,</mi><msubsup><mi>x</mi><mi>lh</mi><mi>′</mi></msubsup><mi>,</mi><msubsup><mi>x</mi><mi>hl</mi><mi>′</mi></msubsup><mi>,</mi><msubsup><mi>x</mi><mi>hh</mi><mi>′</mi></msubsup><mi>]</mi></mrow><mo>)</mo></mrow></mstyle>；36、其中，表示卷积核大小为3×3的卷积操作，<mstyledisplaystyle="true"mathcolor="#000000"><mi>[</mi><mi>⋅</mi><mi>]</mi></mstyle>表示沿通道维度的拼接操作。37、作为优选，组归一化前馈网络包括第四卷积层、分割单元、第二拼接层和第五卷积层，组归一化前馈网络的输入特征先经过一个卷积核大小为1×1的第四卷积层去除冗余通道特征，得到第二中间特征图，其表达式如下：38、；39、其中，c、h、w分别表示组归一化前馈网络的输入特征的通道数量、长度和宽度，组归一化前馈网络的输入特征的通道数量、长度和宽度与基于小波变换的自注意力模块的输入特征的通道数量、长度和宽度相同，表示实数集合，表示卷积核大小为1×1的卷积操作；40、将第二中间特征图输入分割单元中，以获得高频特征和低频特征，其表达式如下：41、；42、其中，表示分割单元对应的函数；43、对高频特征和低频特征分别进行通道分割操作，再采用交叉重构的方式进行重构，并经过第二拼接层和一个卷积核大小为1×1的第五卷积层，获得空间增强特征图yw，如下式所示：44、；45、；46、；47、；48、<mstyledisplaystyle="true"mathcolor="#000000"><msup><mi>y</mi><mi>w</mi></msup><mi>=</mi><msub><mi>conv</mi><mrow><mn>1</mn><mi>×</mi><mn>1</mn></mrow></msub><mrow><mo>(</mo><mrow><mi>[</mi><msubsup><mi>y</mi><mn>1</mn><mi>w</mi></msubsup><mi>,</mi><msubsup><mi>y</mi><mn>2</mn><mi>w</mi></msubsup><mi>]</mi></mrow><mo>)</mo></mrow></mstyle>；49、其中，表示通道分割操作，其将输入的特征图分割为均等的两份，yw为归一化前馈网络的输出特征。50、作为优选，分割单元的计算过程如下：51、对第二中间特征执行组归一化操作，其表达式如下：52、；53、其中，表示第二中间特征的均值，表示第二中间特征的标准差，是一个特别小的正常数，其用于防止除法时分母为0，为可学习的缩放参数，为可学习的位移参数；54、其次，对可学习的缩放参数进行归一化，获得关联权重，如下式所示：55、；56、其中，表示第c个通道对应的可学习的缩放参数，，第d个通道对应的可学习的缩放参数，；57、利用对进行缩放，并依次经过sigmoid函数层和门控单元，生成用于分离高频信息、低频信息的二值掩码图，其表达式如下：58、；59、其中，表示sigmoid函数层对应的函数，表示门控单元，其表达式如下：60、；61、其中，xi,j,k表示门控单元的输入特征x在第i通道上坐标为（j,k）的数值；62、利用二值掩码图与第二中间特征相乘，得到高频特征，利用1-m与第二中间特征相乘，得到低频特征，其表达式如下：63、；64、。65、作为优选，基于小波变换的transformer模块的表达式如下：66、；67、；68、其中，表示基于小波变换的transformer模块的输出特征，c、h、w分别表示基于小波变换的transformer模块的输入特征的通道数量、长度和宽度，基于小波变换的transformer模块的输入特征的通道数量、长度和宽度与基于小波变换的自注意力模块的输入特征的通道数量、长度和宽度相同，表示第一层归一化单元或第二层归一化单元对应的层归一化操作，表示基于小波变换的自注意力模块的函数，表示实数集合，表示组归一化前馈网络对应的函数，表示第三中间特征图，p表示基于小波变换的transformer模块的输出特征；69、图像超分辨率模型的计算过程如下：70、利用一个卷积核为1×1的第一卷积层对待重建的低分辨率图像进行特征提取，提取得到浅层特征，其表达式如下：71、；72、其中，表示卷积核为1×1的卷积操作；73、利用a个基于小波变换的transformer模块提取对浅层特征进行特征提取，提取得到深度特征，其表达式如下：74、；75、；76、其中，表示第a个基于小波变换的transformer模块对应的函数，<mstyledisplaystyle="true"mathcolor="#000000"><mi>a</mi><mi>∈</mi><mi>[1,</mi><mi>a</mi><mi>]</mi></mstyle>，表示第a个基于小波变换的transformer模块的输出，表示第a-1个基于小波变换的transformer模块的输出；77、利用尺度因子为上采样因子scale的亚像素卷积层和一个卷积核大小为1×1的第二卷积层对上采样和重建，生成高分辨率重建图像，其表达式如下：78、；79、其中，表示亚像素卷积层对应的函数。80、第二方面，本发明提供了一种基于小波变换和transformer的轻量级图像超分辨率装置，包括：81、数据获取模块，被配置为获取待重建的低分辨率图像和上采样因子；82、模型构建模块，被配置为构建基于小波变换和transformer的图像超分辨率模型并训练，得到经训练的图像超分辨率模型，图像超分辨率模型包括第一卷积层、亚像素卷积层、第二卷积层以及若干个依次连接的基于小波变换的transformer模块，基于小波变换的transformer模块包括第一层归一化单元、基于小波变换的自注意力模块、第二层归一化单元和组归一化前馈网络，基于小波变换的transformer模块的输入特征依次经过第一层归一化单元和基于小波变换的自注意力模块，基于小波变换的自注意力模块的输入特征与基于小波变换的transformer模块的输入特征相加，得到第一相加结果，第一相加结果依次经过第二层归一化单元和组归一化前馈网络，组归一化前馈网络的输出特征与第一相加结果再次相加，得到基于小波变换的transformer模块的输出特征；83、重建模块，被配置为将待重建的低分辨率图像和上采样因子输入经训练的图像超分辨率模型，待重建的低分辨率图像输入第一卷积层，得到第一卷积层的输出特征并输入第一个基于小波变换的transformer模块，经过若干个基于小波变换的transformer模块的特征提取，将最后一个基于小波变换的transformer模块的输出特征与第一卷积层的输出特征相加，得到第二相加结果，第二相加结果依次经过亚像素卷积层和第二卷积层，得到高分辨率重建图像，其中亚像素卷积层的尺度因子为上采样因子。84、第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。85、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。86、第五方面，本发明提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。87、相比于现有技术，本发明具有以下有益效果：88、（1）本发明提出的基于小波变换和transformer的轻量级图像超分辨率方法利用小波变换将自注意力计算中键和值向量的空间信息编码至通道维度，从而有效避免密集的自注意力计算，同时不造成信息丢失，使得图像超分辨率模型能够利用更少计算开销实现更优的性能。89、（2）本发明提出的基于小波变换和transformer的轻量级图像超分辨率方法的图像超分辨率模型中的组归一化前馈网络可以用来分离高频信息和低频信息，并利用它们重建出更具代表性的特征，从而增强图像超分辨率模型的特征表示能力。当前第1页12当前第1页12