一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法

本发明涉及高光谱图像重建技术，特别是一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法。

背景技术：

1、高光谱图像由多个连续的窄波段组成，能够记录丰富的空间和光谱信息，使得在区分地物特征时更具鉴别性，因此，被广泛应用于变化检测、目标分类、异常检测等领域。为了能够高效地获取高光谱图像，快照式压缩成像系统(例如，cassi)将3维的高光谱图像映射到2维空间中，获取压缩量测图像。应用重建算法对压缩量测进行重建，得到高光谱图像。

2、传统的基于模型的方法，需要手动设置超参数，并且模型推理通过大量的迭代求解，需要耗费较长的时间。随着深度学习的兴起，卷积神经网络因具有强大的非线性建模能力，而被应用广泛于图像重建领域，并取得了显著的成果。但是，由于卷积核的大小有限，导致卷积神经网络的感受野受限，无法利用图像中的长距离依赖关系，导致性能受限。为了扩大感受野，提出了空-谱自注意力机制，能够从空间和光谱维度上分别学习高光谱图像的非局部依赖关系。尽管自注意力机制能够有效提高重建图像的质量，但它相比于卷积神经网络，计算量也大大增加。对于一张大小为c×h×w的图像，学习空间自注意力的计算复杂度为o(c(hw)2)，学习光谱自注意力的计算复杂度为o(c2hw)。巨大的计算量降低了模型的推理速度，也阻碍了其在实际中的应用。为了减少计算开销，许多轻量化方法对图像进行分块，在每个块内计算图像的依赖关系，但这样会导致感受野变小，并且计算复杂度并未降低。如何将二次复杂度降为线性复杂度依然是一个待解决的问题。

技术实现思路

1、本发明的目的在于提供一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法。

2、实现本发明目的的技术解决方案为：一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法，包括以下步骤：

3、第一步，建立波形网络，提取图像不同尺度的特征信息；该网络由多个阶段组成，每个阶段是一个u型结构的子网络，每个子网络包含若干个轻量化掩膜引导的空-谱自注意力模块；

4、第二步，学习空-谱自注意力；分别从空间维和光谱维上学习一个低阶相关性矩阵，将空间相关性矩阵大小从hw×hw减少至hw×1，将光谱相关性矩阵大小从c×c减少为c×1；空间自注意力的计算复杂度由o(c(hw)2)降为o(chw)，光谱自注意力的计算复杂度由o(c2hw)降为o(chw)；

5、第三步，学习掩膜注意力；通过提取掩膜特征信息，指导网络关注被掩膜遮蔽的信息，提高重建图像的空间保真度；

6、第四步，采用亚像素采样策略，对图像进行上下采样，提取不同尺度的特征；

7、第五步，使用l2范数作为损失函数，进行端到端的网络训练。

8、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的方法的步骤。

9、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。

10、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。

11、本发明方法结构简单，所需的参数量和计算量小，网络推理速度快，与现有技术相比，其有益效果为：(1)通过在空间维度和光谱维度上分别学习一个低阶相关矩阵，从而，将空间-光谱自注意力的计算复杂度从o(c(hw)2)和o(c2hw),降至o(chw)；(2)引入掩膜信息，对图像中难以重建的区域进行引导，提高重建图像的空间保真度；(3)提出新型的波形网络结构，配合亚像素上下采样策略，能够以较低的参数量，充分提取并利用图像的特征。本发明方法可以有效应用于快照式压缩图像重建，同时也可以应用于高光谱图像去噪以及超分辨的任务，具有广泛的应用价值。

12、下面结合附图对本发明作进一步详细描述。

技术特征：

1.一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法，其特征在于，第一步，建立波形网络，提取图像不同尺度的特征信息；该网络由多个阶段组成，每个阶段是一个u型结构的子网络，每个子网络包含若干个轻量的掩膜引导的空-谱自注意力模块；假设待重建的高光谱图像为对应的掩膜为其中c、h、w分别是图像的光谱波段数，高和宽；首先，使用一个3×3卷积，将待重建的高光谱图像与掩膜进行融合，得到网络的初始输入：

3.根据权利要求2所述的一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法，其特征在于，第二步，学习空间和光谱自注意力；分别从空间维和光谱维上学习一个低阶相关性矩阵，减少自注意力学习过程中的冗余计算，将空间相关性矩阵大小从hw×hw减少至hw×1，将光谱相关性矩阵大小从c×c减少为c×1；从而，空间自注意力的计算复杂度由o(c(hw)2)降为o(chw)，光谱自注意力的计算复杂度由o(c2hw)降为o(chw)；假设输入的特征为通过线性变换，将其映射为

4.根据权利要求3所述的一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法，其特征在于，第三步，学习掩膜注意力；假设模块的输入为通过一个卷积核大小为1的卷积层，得到

5.根据权利要求4所述的一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法，其特征在于，第四步，采用亚像素采样策略，对图像进行上下采样，提取不同尺度的特征，减少信息损失；假设输入特征为下采样操作可表示为

6.根据权利要求5所述的一种轻量化掩膜引导空-谱自注意力的高光谱图像重建方法，其特征在于，第五步，使用l2范数作为损失函数，进行端到端的网络训练

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现权利要求1-6任一项所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。

9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。

技术总结本发明公开了一种轻量化掩膜引导空‑谱自注意力的高光谱图像重建方法，该方法包括：建立波形网络，提取图像不同尺度的特征信息；学习轻量化空‑谱自注意力；学习掩膜注意力，引导网络关注被掩膜遮蔽的信息，提高重建图像的空间保真度；通过亚像素采样策略，提取图像不同尺度的特征；使用L2范数作为损失函数，进行端到端的网络训练。本发明通过在空间维度和光谱维度上分别学习低阶相关性矩阵，减少了空‑谱相关性矩阵的大小，降低了学习空‑谱自注意力的计算量；为了在有限的参数量下，提高模型特征提取的能力，提出波形结构网络，通过多次上下采样，充分提取图像不同尺度上的特征，提高了图像的重建质量。技术研发人员：林添,杨劲翔受保护的技术使用者：南京理工大学技术研发日：技术公布日：2024/11/4