基于空间变形场的多源遥感光学图像配准与融合方法

本发明属于但不限于遥感图像处理，尤其涉及一种基于空间变形场的多源遥感光学图像配准与融合方法及系统。

背景技术：

1、高光谱图像与多光谱图像融合是提升高光谱图像空间分辨率的图像处理技术。随着遥感卫星图像的普及，其中的高光谱图像具有数百个连续光谱带，已经被应用于变化检测、分类、语义分割等遥感任务。由于成像系统的限制，高光谱图像的空间分辨率较低，近年来出现了有关高光谱图像融合的研究并得到了广泛关注。根据使用的高空间分辨率辅助图像的不同，高光谱图像融合可分为高光谱与全色图像融合、高光谱与多光谱图像融合等，已经成为有效的高光谱图像质量提升手段。

2、许多学者针对高光谱融合的任务的提出了一些经典方法，这些基本方法可以分为四类，成分替换、多分辨率分析、贝叶斯方法和矩阵分解。基于成分替换的方法首先将低空间分辨率的高光谱图像分解为光谱分量和空间分量，随后，将空间分量替换为带有更高空间分辨率的辅助图像，并转换回原始的向量空间；多分辨率分析方法通过空间滤波器向低分辨率的高光谱图像中注入空间特征，这些滤波器可以降低图像的低频分量，保留高频信息；贝叶斯方法通过拟合高光谱图像和多光谱图像的后验分布来预测所需的图像，基于贝叶斯的方法从其构建的数学模型出发全面考虑问题，但通常计算量大，且需要一定的先验条件；矩阵分解通过将图像分解为两个矩阵，一个矩阵包含图像中所有的地物材料种类，称为端元矩阵，另一个矩阵表示地物材料在图像中的浓度大小，称为丰度矩阵，矩阵分解使用多光谱图像的丰度矩阵和高光谱图像的端元矩阵重建图像。

3、近年来，随着深度学习(dl)的快速发展，出现了光谱保真的全局交互高光谱多光谱跨模态融合方法、基于卷积神经网络的遥感影像融合方法等一系列针对高光谱图像的融合网络，这些模型在数据严格配准的情况下下表现出非常优异的融合性能。然而，现有方法大多基于卷积神经网络实现，卷积神经网络处理图像时感受野有限，无法利用图像的全局上下文信息，限制了网络性能的进一步提高。

4、同时，在实际情况中，由于成像平台、成像视角以及大气湍流等因素的影响，图像难以进行精细配准，现有方法在数据未配准时性能严重下降，如何在融合过程中实现图像配准是一个更为现实的问题。

5、鉴于上述分析，现有技术存在的急需解决的技术问题为：

6、(1)传统方法基于数学模型的计算，无法对融合特征进行精确表征，从而容易导致结果失真；

7、(2)基于卷积神经网络的方法感受野小，无法利用图像全局信息；

8、(3)现有方法仅仅针对于配准的成对多光谱图像和高光谱图像，针对未配准的图像还没有有效的解决方法。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于空间变形场的多源遥感光学图像配准与融合方法。

2、本发明是这样实现的，一种基于空间变形场的多源遥感光学图像配准与融合方法，其特征在于，基于空间变形场的多源遥感光学图像配准与融合方法，该方法具体包括：

3、s1：输入高空间分辨率的多光谱图像ym和低空间分辨率的高光谱图像yh，构建基于通道注意力机制的空谱特征金字塔模块，提取两图像分支多尺度空谱特征；

4、s2：提出交叉注意力引导的空间特征对齐模块，不同支路的多尺度特征以交叉注意力的方式计算空间关系矩阵，生成变形场；

5、s3：使用变形场对高光谱图像的多尺度特征进行位置偏移，在空间位置上与多光谱图像的多尺度特征对齐；

6、s4：将配准的两种模态的多尺度特征在通道方向级联，利用卷积神经网络融合同一尺度的特征，生成带有空间细节的多尺度特征；

7、s5：建立跨尺度信息传递模块，多个尺度的特征通过卷积网络共享信息，跨尺度完成特征信息的交互，逐步增强特征的表达能力；

8、s6：对增强的多尺度特征进行信息融合，通过卷积神经网络重建高空间分辨率的高光谱图像；

9、s7:对于搭建好的网络模型进行有监督的训练，得到适合该模型的网络参数。

10、进一步，所述s1，具体过程为：

11、经过归一化的图像经过线性投影层产生q,k,v三个矩阵，三个矩阵的维度重塑为c×hw，c表示通道维度，hw表示将空间维度拉伸为一维向量，q与kt相乘后经过softmax激活函数得到维度为c×c的相似度矩阵，相似度矩阵表征各通道及光谱矢量的自相关关系，随后将相似度矩阵同v相乘，得到中间特征f′，f′经过门控机制的前馈层和维度重建卷积层后将维度进行尺度变换，特征大小被重塑为i表示尺度的大小层级；该过程可由以下公式表示：

12、

13、其中，高光谱图像特征表示为其中h,w表示目标高光谱图像的高度和宽度，n代表高光谱图像的光谱数目，n代表多光谱图像的光谱数目,i表示尺度大小级别,表示尺度大小级别为i+1的特征，即金字塔上层特征提取器的输出；wq,wk,wv表示投影矩阵；qh，kh，vh分别表示高光谱图像产生的q，k，v矩阵，表示矩阵kh的转置；表示缩放因子；表示注意力层输出的高光谱中间特征；conv()表示卷积操作；relu()表示激活函数，门控机制的前馈层将对同一矩阵分为两支路，每条支路单独进行卷积操作后相乘，其中一条支路由激活函数激活，门控机制可以选择有效的数据传递至后续网络。

14、针对多光谱图像分支，该过程可由以下公式表示：

15、

16、其中，多光谱图像特征可表示为表示尺度大小级别为i-1的特征，即金字塔上层特征提取器的输出；qm，km，vm分别表示高光谱图像产生的q，k，v矩阵，表示矩阵km的转置；表示注意力层输出的高光谱中间特征。

17、此外，为了避免特征信息的丢失，分别在两个支路的注意力层和前馈层的输出添加了残差连接。

18、进一步，所述s2，具体为：

19、首先，对两种模态的特征进行向量嵌入操作，对于多光谱图像的特征被投影为q，高光谱图像的特征被投影为k和v，利用交叉注意力对q，kt做矩阵乘积，计算空间关系矩阵，将空间关系矩阵和待配准的高光谱图像投影的矩阵v进行级联，送入神经网络学习空间差异生成变形场，这个过程具体可由下列公式表示：

20、

21、spa＝qkt

22、di＝fd(concat(spa,v))

23、其中，spa表示q和kt相乘得到的空间关系矩阵，kt表示矩阵k的转置；fd()表示求解变形场di的神经网络，本发明采用u-net对fd()进行建模。此外，因为spa表征空间关系，矩阵q、k的维度为矩阵的后两维相乘即可建模空间关系。

24、进一步，所述s3，使用变形场对高光谱图像的多尺度特征进行位置偏移，在空间位置上与多光谱图像的多尺度特征对齐，其公式为：

25、

26、di的维度为前两维表示空间维度，最后一维大小为2分别表示水平和竖直的像素位移大小，将di作用于原始的特征即可得到和多光谱图像空间对齐的高光谱图像

27、进一步，所述s4，将配准的两种模态的多尺度特征在通道方向级联，利用卷积神经网络融合同一尺度的特征，生成带有空间细节的多尺度特征，其公式为：

28、

29、其中，xi表示融合两种图像信息的特征。

30、进一步，所述s5，具体为：

31、小尺度的特征向大尺度及同尺度下传递，最小尺度的特征不再向前传递信息，大尺度特征不向小尺度的特征传递信息；该过程的公式为：

32、x(i)(j)＝fr(x(i)(j-1),x(i-1)(j-1),…,x(3-j)(j-1)),j∈[0,3],i∈[0,3-j]；

33、其中，x(i)(j)表示第j层中尺度大小为i的特征节点，fr()表示用于特征信息交互聚合的卷积神经网络，x(i)(j-1),x(i-1)(j-1),…,x(j-1)(j-1)表示j-1层即上一层模块输出的尺度级别从i到3-j的所有特征节点被送入聚合网络。

34、进一步，所述s6，对增强的多尺度特征进行信息融合，通过卷积神经网络重建高空间分辨率的高光谱图像，其公式为：

35、

36、x(n)(0)表示多尺度特征信息传递结构中最后一层中尺度为0即最大尺度的节点，表示网络重建的高空间分辨率的高光谱图像，r()表示用于图像重建的卷积神经网络。

37、进一步，所述s7，对于搭建好的网络模型进行有监督的训练，得到适合该模型的网络参数，具体为：

38、(7a)将带有参考图像x的多光谱图像ym和高光谱图像yh的数据集载入需要训练的网络模型中，输出预测的高空间分辨率的高光谱图像

39、(7b)利用如下l1重建损失函数，计算预测图像和参考图像x之间的损失函数：

40、

41、其中|| ||1表示矩阵的1范数；

42、(7c)利用随机梯度下降法对网络参数进行训练，直至网络收敛，并保存最优的网络参数，完成对yh与ym的配准与融合，使用学习率为1e-3的adam优化器，学习率下降速率为每100个epoch下降为自身的0.1，并在300个epoch后完成学习过程。

43、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

44、第一、本发明设计了基于通道注意力transformer特征提取结构，该结构充分利用高光谱图像的全局信息，且该结构构成了空谱特征金字塔模块，输出多尺度特征，对不同大小的图像特征进行表征，可以表征高光谱图像各通道及光谱矢量的自相关关系，有效提取图像的全局上下文信息，且与传统的自注意力相比，向量长度从hw降低为c，大大降低了计算复杂度；

45、本发明创新性的提出了交叉注意力引导的空间特征对齐模块，该结构在两种图像间通过空间注意力机制建模两种模态图像的空间关系，并利用空间关系矩阵学习变形场，以达到特征配准的效果；

46、本发明设计了跨尺度信息传递结构，充分利用了不同尺度的配准的特征信息，可以形成更加强大的特征表示，产生更好的高光谱图像重建效果。

47、本发明描述的是一种基于空间变形场的多源遥感光学图像配准与融合方法。该方法利用了空谱特征金字塔模块进行多尺度特征提取，然后通过计算空间关系矩阵和求解变形场来实现特征的对齐。最后，通过卷积神经网络进行特征融合和重建高光谱图像。

48、第二，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

49、(1)本发明提出的基于空间变形场的多源遥感光学图像配准与融合方法，能够显著提高未配准条件下不同模态遥感光学图像的融合精度，提高高光谱图像的空间分辨率，这为环境监测、农业资源管理以及军事侦察等领域提供了重要的图像质量提升手段，具有重要的应用价值。通过提升高光谱图像的空间分辨率，本发明有助于获取更加精确和详细的地物信息，从而提高相关决策的科学性和有效性,带来显著的经济效益和社会价值。

50、(2)本发明解决了不同场景下多源遥感数据分布不一致的问题，尤其是数据非刚性变形的问题，以往的遥感图像融合方法仅关注于如何充分利用各个图像的互补信息，忽略了成像过程造成的地物扭曲问题，本发明利用多模态数据的空间信息，利用变形场实现全局特征对齐，填补了国内外在多源遥感光学图像配准与融合方案中的空白，为遥感图像融合提供了一种更有效、更符合现实场景的解决方案。

51、(3)本发明采用交叉注意力引导的空间特征对齐模块作为核心，充分利用了不同模态光学图像中的空间信息，使得产生的变形场更加精准，解决了高光谱成像中面临的复杂退化过程对地物纹理造成的影响，同时，本发明设计的的特征提取与特征重建结构充分利用了全局的光谱特征，提高了高光谱图像的重建精度与泛华能力。