多数据源遥感图像空谱融合方法、装置、设备及介质

本发明涉及卫星遥感 ，尤其涉及一种多数据源遥感图像空谱融合方法、装置、设备及介质。

背景技术：

1、目前遥感图像空谱融合技术涵盖了传统方法和深度学习方法两大主流。传统融合方法包括成分替换法、多分辨分析法和变分优化法，主要通过ihs、pca等算法实现pan和ms图像的信息融合。这些方法在复杂地物类型的非线性表征能力方面存在局限性。然而，目前传统方法大多是一种线性模型，很难有效地拟合两者图像之间的融合过程，易出现空间变形和光谱扭曲问题。而一般的有监督深度学习方法缺少理想的融合结果作为参考标签，模拟参考标签的制作过程步骤繁琐且易造成全色图像空间信息的丢失，并且在融合过程中忽略了模拟数据与真实数据之间的尺度差异，往往会存在一定程度的信息失真，融合结果的光谱质量和空间质量也很难取得较好的平衡，同时，训练和测试模型通常仅限于单一特定传感器类型的数据，例如仅使用gf-2数据进行训练和测试。该方式的数据较为单一，训练出的网络模型很难具有普适性。

技术实现思路

1、本发明提供一种多数据源遥感图像空谱融合方法、装置、设备及介质，用以解决相关技术中易出现空间变形和光谱扭曲且训练数据来源单一，且过程步骤繁琐且易造成全色图像空间信息的丢失，并且存在一定程度的信息失真，在融合结果的光谱质量和空间质量方面也很难取得较好的平衡的问题。

2、本发明提供一种多数据源遥感图像空谱融合方法，包括如下步骤。

3、获取用于图像空谱融合的原始图像；

4、将原始图像输入至多数据源遥感图像空谱融合网络，得到融合图像；

5、其中，多数据源遥感图像空谱融合通过如下方法进行训练：

6、通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms；

7、将多组pan和多组ms输入至初始多数据源遥感图像空谱融合网络中进行训练，得到多数据源遥感图像空谱融合网络。

8、根据本发明提供的一种多数据源遥感图像空谱融合方法，多数据源遥感图像空谱融合网络包括多个依次层级连接的双流融合层，则将多组pan和多组ms输入至初始多数据源遥感图像空谱融合网络中进行训练，得到多数据源遥感图像空谱融合网络，包括：

9、对多组ms进行上采样，得到多组上采样ms；

10、将多组pan、多组ms和多组上采样ms依次输入多个双流融合层依次进行编码、信息交互融合和解码；

11、将多组pan、多组ms和多组上采样ms，以及解码后得到的多组目标pan和多组目标ms输入至下一个双流融合层，直至得到多数据源遥感图像空谱融合网络。

12、根据本发明提供的一种多数据源遥感图像空谱融合方法，每个双流融合层中包括第一编码模块、第一解码模块、u型多通道拼接模块、信息交互融合模块和第二解码模块，则将多组pan、多组ms和多组上采样ms依次输入多个双流融合层依次进行编码、信息交互融合和解码，包括：

13、在每个双流融合层中，将多组pan输入第一编码模块进行编码，得到第一特征信息；

14、将多组ms和多组上采样ms输入u型多通道拼接模块进行编码，得到第二特征信息；

15、将第一特征信息和第二特征信息在信息交互融合模块中进行信息交互融合，得到第三特征信息；

16、将多组pan和第一特征信息在第一解码模块中解码，得到目标pan；

17、将第三特征信息在第二解码模块中解码，得到目标ms。

18、根据本发明提供的一种多数据源遥感图像空谱融合方法，将第一特征信息和第二特征信息在信息交互融合模块中进行信息交互融合，得到第三特征信息，包括：

19、通过如下公式对第一特征信息和第二特征信息进行信息交互融合，得到第三特征信息：

20、；

21、；

22、；

23、；

24、其中，和分别表示在第个双流融合层中提取的第一特征信息和第二特征信息，s表示sigmoid 函数，表示元素乘法运算，表示第个双流融合层中得到的第三特征信息。

25、根据本发明提供的一种多数据源遥感图像空谱融合方法，通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms之后，方法还包括：

26、对多组pan进行梯度引导。

27、根据本发明提供的一种多数据源遥感图像空谱融合方法，对多组pan进行梯度引导，包括：

28、利用拉普拉斯算子通过如下公式对多组pan进行梯度引导：

29、；

30、；

31、；

32、其中，表示pan。

33、根据本发明提供的一种多数据源遥感图像空谱融合方法，多数据源遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，目标损失函数是基于空间度量函数和光谱度量函数构建的，空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，第一残差概率分布是基于多组pan和目标融合图像确定的，第二残差概率分布是基于多组ms和多光谱图像ms对应的灰度图像确定的；

34、光谱度量函数用于评估多组ms与目标融合图像之间的光谱角度差异。

35、本发明还提供一种多数据源遥感图像空谱融合装置，包括如下模块：

36、获取模块，用于获取用于图像空谱融合的原始图像；

37、融合模块，用于将原始图像输入至多数据源遥感图像空谱融合网络，得到融合图像；

38、训练模块，用于通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms；

39、训练模块还用于将多组pan和多组ms输入至多数据源遥感图像空谱融合网络中，得到多数据源遥感图像空谱融合网络输出。

40、根据本发明提供的一种多数据源遥感图像空谱融合装置，多数据源遥感图像空谱融合网络包括多个依次层级连接的双流融合层，则训练模块具体用于：

41、对多组ms进行上采样，得到多组上采样ms；

42、将多组pan、多组ms和多组上采样ms依次输入多个双流融合层依次进行编码、信息交互融合和解码；

43、将多组pan、多组ms和多组上采样ms，以及解码后得到的多组目标pan和多组目标ms输入至下一个双流融合层，直至得到多数据源遥感图像空谱融合网络。

44、根据本发明提供的一种多数据源遥感图像空谱融合装置，每个双流融合层中包括第一编码模块、第一解码模块、u型多通道拼接模块、信息交互融合模块和第二解码模块，则训练模块具体用于：

45、在每个双流融合层中，将多组pan输入第一编码模块进行编码，得到第一特征信息；

46、将多组ms和多组上采样ms输入u型多通道拼接模块进行编码，得到第二特征信息；

47、将第一特征信息和第二特征信息在信息交互融合模块中进行信息交互融合，得到第三特征信息；

48、将多组pan和第一特征信息在第一解码模块中解码，得到目标pan；

49、将第三特征信息在第二解码模块中解码，得到目标ms。

50、根据本发明提供的一种多数据源遥感图像空谱融合装置，训练模块具体用于：

51、通过如下公式对第一特征信息和第二特征信息进行信息交互融合，得到第三特征信息：

52、；

53、；

54、；

55、；

56、其中，和分别表示在第个双流融合层中提取的第一特征信息和第二特征信息，s表示sigmoid 函数，表示元素乘法运算，表示第个双流融合层中得到的第三特征信息。

57、根据本发明提供的一种多数据源遥感图像空谱融合装置，训练模块还用于：

58、对多组pan进行梯度引导。

59、根据本发明提供的一种多数据源遥感图像空谱融合装置，训练模块具体用于：

60、利用拉普拉斯算子通过如下公式对多组pan进行梯度引导：

61、；

62、；

63、；

64、其中，表示pan。

65、根据本发明提供的一种多数据源遥感图像空谱融合装置，在训练模块中，多数据源遥感图像空谱融合网络是基于目标损失函数通过自监督方式训练获取的，目标损失函数是基于空间度量函数和光谱度量函数构建的，空间度量函数用于评估第一残差概率分布和第二残差概率分布之间的差异度，第一残差概率分布是基于多组pan和目标融合图像确定的，第二残差概率分布是基于多组ms和多光谱图像ms对应的灰度图像确定的；

66、光谱度量函数用于评估多组ms与目标融合图像之间的光谱角度差异。

67、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种多数据源遥感图像空谱融合方法。

68、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种多数据源遥感图像空谱融合方法。

69、本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种多数据源遥感图像空谱融合方法。

70、本发明提供的多数据源遥感图像空谱融合方法，首先获取用于图像空谱融合的原始图像，然后将原始图像输入至多数据源遥感图像空谱融合网络，得到融合图像，其中对于多数据源遥感图像空谱融合网络的训练过程如下，首先通过多个传感器组获取不同规格的多组全色图像pan和不同规格的多组多光谱图像ms，然后将多组pan和多组ms输入至初始多数据源遥感图像空谱融合网络中，得到多数据源遥感图像空谱融合网络。运用本发明实施例提供的方法，能够根据原始图像的特性，利用训练好的多数据源遥感图像空谱融合网络对空间特征和光谱特征进行交互融合，从而更加精准更有针对性地进行特征的表达和重构，提升使用多数据源遥感图像空谱融合网络输出的卫星图像的质量，同时，通过使用多组来自不同传感器的数据对网络进行训练，增加训练网络的样本的丰富度，进而提高了实际应用中的可用性和可靠性。