一种基于隐噪声先验的高光谱图像去噪方法和系统

本发明属于高光谱图像去噪领域，具体涉及一种基于隐噪声先验的高光谱图像去噪方法。

背景技术：

1、高光谱成像(hyperspectral)是指在较宽的频谱范围内获取大量连续的波段数据的一种图像技术。与传统的彩色图像不同，高光谱图像包含了数百甚至数千个波段的数据，每个波段都对应于不同的波长范围。高光谱已应用于许多遥感应用中，如地质调查、农作物监测、土壤监测、目标识别与分类等。然而受包括传感器噪声、大气散射、照明不均匀等环境干扰，高光谱噪声可能以不同形式出现，如高斯噪声、条状噪声、脉冲噪声等。因此，通过适当的信号处理技术降低或消除这些噪声，以提高图像的质量和可用性具有重要意义。

2、在近几十年中，已经提出了许多针对高光谱去噪的方法，例如传统带式去噪方法，如：通过稀疏3-d变换域协同过滤(k.dabov,a.foi,v.katkovnik,and k.egiazarian.imagedenoising by sparse 3-d transform-domain collaborative filtering.ieeetransactions on image processing,16(8):2080–2095,2007.)、加权核范数最小化(gu,s.,zhang,l.,zuo,w.,&feng,x.(2014).weighted nuclear normminimization withapplication to image denoising.in proceedings of the ieee conference oncomputer vision and pattern recognition(pp.2862-2869).)；以及一些基于多频段的变换域方法，如：基于小波的高光谱图像估计(karami,a.,yazdi,m.,&mercier,g.(2012).compression of hyperspectral images using discerete wavelet transform andtucker decomposition.ieee journal of selected topics in applied earthobservations and remote sensing,5(2),444-450.)、使用3d小波进行高光谱图像去噪(rasti,b.,sveinsson,j.r.,ulfarsson,m.o.,&benediktsson,j.a.(2012,july).hyperspectral image denoising using 3d wavelets.in 2012ieee internationalgeoscience and remote sensing symposium(pp.1349-1352).ieee.)、非局部变换域滤波(maggioni,m.,katkovnik,v.,egiazarian,k.,&foi,a.(2012).nonlocal transform-domain filter for volumetric data denoising and reconstruction.ieeetransactions on image processing,22(1),119-133.)等。通过采用合理的假设或先验，跨空间的非局部自相似性(nss)，总变差(tv)([1]yuan,q.,zhang,l.,&shen,h..(2012).hyperspectral image denoising employing a spectral-spatial adaptive totalvariation model.ieee transactions on geoscience and remote sensing,50(10),3660-3677.)，非本地(non-local)，低秩(lr)模型(x.zhao,h.zhang,t.jiang,m.k.ng,x.-j.zhang,fast algorithm with theoretical guarantees for constrained low-tubal-rank tensor recovery in hyperspectral images denoising,neurocomputing 413(2020)397–409.)，张量模型等基于空间域的方法可以很好地保持空间和光谱特征。此类传统的高光谱去噪方法通常需要确定噪声水平以获得更准确的结果，或者只能针对某一特定类型的噪声；而一些基于变换域的去噪手段则需要进行复杂的数学运算，计算复杂度较高。

3、随着深度学习的迅速发展,利用深度学习方法进行高光谱去噪的方法受到广泛关注。如采用空间光谱深度残余卷积神经网络(yuan,q.,zhang,q.,li,j.,shen,h.,&zhang,l.(2018).hyperspectral image denoising employing a spatial–spectral deepresidual convolutional neural network.ieee transactions on geoscience andremote sensing,57(2),1205-1218.)的高光谱图像去噪方法，通过卷积神经网络进行高光谱图像恢复的hsi-denet(chang,y.,yan,l.,fang,h.,zhong,s.,&liao,w.(2018).hsi-denet:hyperspectral image restoration via convolutional neural network.ieeetransactions on geoscience and remote sensing,57(2),667-682.)，这些基于深度学习的深度卷积神经网络的方法解决了模型泛化能力的问题，但基于传统卷积的模型并不能很好地利用高光谱的带间相关性来辅助去噪。3d卷积的使用能够很好的利用了hsis之间存在高光谱相关性，因此产生了大量以3d卷积为基础在相邻波段的辅助下进行逐波段去噪的网络；如：董等人提出的配备可分离卷积的3d去噪网络(w.dong,h.wang,f.wu,g.ming shi,and x.li.deep spatial spectral representation learning for hyperspectralimage denoising.ieee transactions on computational imaging,pages 1–1,2019.)，lai等人提出的一种即插即用的hsi恢复方法(zeqianglai,kaixuanwei,andyingfu.deepplug-and-play prior for hyperspectral imagerestoration.neurocomputing,481:281–293,2022.)等。但此类去噪网络都没有设计相应的隐噪声提取模块，只能让网络自适应地学习噪声隐信息。

4、传统的高光谱去噪方法通常需要确定噪声水平或具体的噪声类型以获得更准确的结果，绝大部分基于深度学习的高光谱图像恢复方法都没有建模噪声模型，他们选择将模型构建成编码器和解码器模式，试图让网络能自适应的从数据中学习噪声隐信息，并实现去噪。然而这样操作的效果并不好，原因是网络可能没办法通过迭代，学习到足够多有用的噪声隐信息，而传统的编码器和解码器模式的网络在处理此类任务时没有设计相应的模块，缺少将噪声提取出来的能力，因此无法在整个去噪任务中达到理想的性能。

技术实现思路

1、为解决现有技术中的问题，本发明提供了一种基于隐噪声和稀疏自注意力的去噪方法；其通过transformer从u型编码器-解码器网络的输出特征图中提取噪声隐信息，并通过基于门控机制的噪声消除模块将噪声去除，最后利用稀疏自注意力机制进一步恢复丢失信息，本发明可以精确地处理受复杂噪声破坏的高光谱图像，实现有效去噪。

2、本发明首先提供了一种基于隐噪声先验的高光谱图像去噪方法，其包括如下步骤：

3、s1.构建高光谱图像去噪模型；所述高光谱图像去噪模型包括u型编码器-解码器网络u-net、隐噪声提取模块、基于门控的噪声去除模块和多通道恢复模块；其中，u-net中的编码器接收输入数据并输出特征图；隐噪声提取模块为改进的transformer模块，其根据所述特征图得到噪声隐信息；基于门控的噪声去除模块利用所述噪声隐信息消除被噪声污染的像素点得到去噪后的特征图；多通道恢复模块为基于top-k注意力机制的transformer模块，其对去噪后的特征图进行自注意力计算，恢复丢失的像素信息，输出恢复后的特征图；u-net中的解码器获取多通道恢复模块的输出，解码得到最终去噪后的图像；

4、s2.利用训练数据对所述高光谱图像去噪模型进行训练，得到训练好的高光谱图像去噪模型；

5、s3.对于待去噪的高光谱数据，利用s2得到的高光谱图像去噪模型进行去噪，得到去噪后的高光谱图像。

6、作为本发明的优选方案，所述隐噪声提取模块的输入包括查询k、键v和带有噪声先验信息的值q′，其中c、h、w分别代表特征的通道、高和宽；隐噪声提取模块实现对隐藏噪声信息的深度抽取，其输出噪声隐信息

7、

8、其中fq，fk，fv表示可学习的线性映射函数，d表示缩放因子，查询k和键v为编码器输出特征图经过形状重塑后得到。

9、作为本发明的优选方案，所述q′向量通过如下方法构建：

10、使用一个可学习的嵌入向量作为向量；在模型训练过程中，预构建对应的噪声模板经过平均池化操作改变形状后得到将s′与q向量相加得到带有噪声先验信息的值q′。

11、作为本发明的优选方案，在所述基于门控的噪声去除模块中，隐噪声提取模块输出的噪声隐信息xlatent和解码器输出的特征图xf分别经过全连接层然后进行矩阵相乘，并经过sigmoid函数处理得到去噪后的特征图xgate；

12、xgate＝(1-σ[fc(xlatent)×fc(xf)])xf

13、其中，fc表示全连接层，σ表示sigmoid函数。

14、作为本发明的优选方案，所述多通道恢复模块中引入了基于top-k的注意力机制，确保能最大程度抑制引入的噪声；选用多个k值，然后用可学习的参数自适应地融合多个top-k结果，使得网络最大程度地保留对去噪有利的信息，去除引入的额外噪声；

15、具体的，去噪后的特征图xgate经过形状重塑后作为输入到所述多通道恢复模块，得到基于top-k自注意力图

16、

17、其中，d表示缩放因子，ftopk表示的是利用遮罩筛选注意力结果中前k个最大值的函数；

18、接着，通过矩阵乘法将softmax结果和v相乘实现自注意力：

19、xk＝softmax(xtopk)fv(vt)

20、由于选择了多个k值，因此将n次top-k操作的结果相加，以输出所有xk的综合结果：

21、

22、其中xki代表第i次的top-k结果，αi是相应的权重系数，n表示选择的top-k的次数；xmulti作为多通道恢复模块的输出，即恢复后的特征图。

23、作为本发明的优选方案，s2训练过程中，计算输入样本x与模型输出结果x′之间的损失函数l2，并计算前向传播误差值，再根据误差进行反向传播；重复训练过程直至模型收敛或达到设定的训练轮次。

24、本发明还提供了实施上述方法的高光谱图像去噪系统，其包括：

25、高光谱图像获取单元，其用于获取待去噪的高光谱图像；

26、高光谱图像去噪模型，对高光谱图像进行去噪得到干净的高光谱图像；

27、所述高光谱图像去噪模型由编码器和解码器组成的u型编码器-解码器网络、隐噪声提取模块、基于门控的噪声去除模块和多通道恢复模块；

28、所述编码器接收输入数据并输出特征图；所述隐噪声提取模块为改进的transformer模块，其获取特征图经过形状重塑得到的k和v，还接受一个带有噪声先验信息的q′，从而得到噪声隐信息；

29、所述基于门控的噪声去除模块利用所述噪声隐信息消除被噪声污染的像素点得到去噪后的特征图；

30、所述多通道恢复模块为基于top-k注意力机制的transformer模块，其对去噪后的特征图进行自注意力计算，恢复丢失的像素信息，输出恢复后的特征图；

31、所述解码器获取多通道恢复模块的输出，解码得到最终去噪后的图像。

32、与现有技术相比，本发明提出的基于隐噪声先验的高光谱去噪方法，该方法基于高光谱去噪模块进行高光谱图像的去噪，所述高光谱去噪模块包含隐噪声提取模块，基于门控的噪声去除模块和一个多通道恢复模块；隐噪声提取模块利用transformer技术，通过query操作深度挖掘网络中间特征图中的隐噪声；基于门控的噪声去除模块对隐噪声进行处理使其能够与网络深度融合；最后使用多通道恢复模块进一步利用通道间的噪声差异，以达到更深层次的去噪效果。本发明可以精确地处理受复杂噪声破坏的高光谱图像，实现有效去噪。