一种基于融合图网络的高光谱遥感影像分类方法及系统

本发明涉及遥感图像处理，尤其涉及一种基于融合图网络的高光谱遥感影像分类方法及系统。

背景技术：

1、在遥感影像处理中，相比于多光谱遥感影像，光谱遥感影像富含了大量的光谱波段信息，通过将二维空间特征与一维光谱特征有机结合，使得高光谱遥感影像分类在植被监测、城市规划和自然灾害等下游应用中的优良适用性引起国内外学者及相关从业人员的广泛关注。应用于高光谱遥感影像分类任务的技术经历了从传统分类方法到早期卷积神经网络方法的演变，但是卷积神经网络存在卷积核共享参数、无法自适应灵活调整的缺点，在地物结构复杂的遥感图像中容易损失类别边界信息。因此，通过图结构来表达像素间不同连接模式和特征，并通过权重矩阵灵活地聚合邻居节点信息以适应不同局部邻域结构的图卷积网络成为了高光谱遥感影像分类任务的新兴方法，其能够在类别边界处做出更准确的分类决策。

2、然而，在处理高光谱遥感影像时，传统基于谱图理论的图卷积网络(graphconvolutional network，gcn)主要集中于像素的光谱特征，而往往忽略了像素间的空间关系。对于覆盖地域宽广的大幅遥感影像而言，位置关系往往能提供丰富的相似性邻接关系，忽略空间关系可能会限制分类任务的性能。为了克服这一限制，一些研究者提出了结合光谱和空间信息的方法。例如，qin等人提出了一种空谱图卷积神经网络(s2gcn)，该方法通过构建一个局部图结构，同时考虑了像素的光谱特征和空间分布，从而提高了高光谱影像的分类精度。受qin等人的启发，guo等人构建了光谱特征和空间特征两个邻接矩阵，以同时提取空间关系和光谱差异。兼顾空谱特征不仅保留了每个像素的详细光谱信息，还通过图结构捕捉到像素间的空间依赖性，这对于提高影像解译质量具有重要意义。随后，xi等人考虑到影像中地物存在形态不统一的问题，提出了根据不同空间尺度同时构造多个图的方法，以提取影像中的多尺度信息。此外，mou等为了捕获影像中的全局信息，提出了non-localgcn，该模型以整幅影像的光谱特征为对象构建图，并通过两层卷积网络自动学习非局部图，实现了全局特征的捕捉。然而，这些方法都是以像素为节点构造邻接矩阵，存在所构矩阵尺寸过大，以及难以解析相隔较远、光谱差异大的同类节点的相似性特征这两个问题。

3、由此，科研工作者就如何限制图的尺寸以降低卷积操作的复杂性，以及如何提取覆盖范围广泛的遥感影像中的远距离特征这两个思路展开了一些工作。hong等人针对像素级建图的尺寸会随节点数增加而过大这一问题，提出了小批量卷积模型，将cnn和gcn的差异化感受野相结合，完成了对地物复杂结构信息的端到端提取，并且有效地降低了每一次图卷积操作中图的尺寸，缓解了大幅遥感影像对显存资源的依赖性。gong等人将hsi划为多个较大的区域，提出了动态感知上下文的图卷积网络，以提取区域之间的全局关联。wan等人提出了mdgcn模型，该模型通过在图卷积过程中引入多尺度图结构并动态优化超像素间的邻接关系，以聚合超像素级的全局关系。尽管这种方法可以有效地降低邻接矩阵的尺寸，且区域级的特征提取可以包含更丰富的语义特征，但是粗粒度级的邻接关系势必会忽略掉部分像素级别精细化的特征，对整体分类精度在一定程度上造成影响。

4、高光谱图像以三维欧式结构形式存在，需要先根据其特征构建为包含关联信息的可输入的图结构，然后送入图网络中训练。在覆盖地域广泛的遥感影像中，存在远距离同类地物因大气干扰等因素而导致的光谱特征差异大的问题，因此，如何构建图网络以表示影像中的全局一致性是建立可靠图结构的关键。同时，现有算法局限于单层级特征的提取，未兼顾粗细粒度间的特征交互。

5、因此，急需解决如何在卷积过程中通过全局粗粒度特征快速引导像素级细粒度特征聚合，并将像素级特征反馈至区域级粗粒度特征的提取过程以捕获更精细化的特征以完成高精度的高光谱遥感影像分类。

技术实现思路

1、本发明提供一种基于融合图网络的高光谱遥感影像分类方法及系统，用以解决现有技术中处理遥感高光谱影像时存在的缺陷。

2、第一方面，本发明提供一种基于融合图网络的高光谱遥感影像分类方法，包括：

3、采集遥感图像数据集，获取所述遥感图像数据集中的超像素分支和像素分支；

4、根据所述超像素分支的光谱特征和空间特征，基于hslic算法划分所述超像素分支的同质超像素，以所述同质超像素为节点构建超像素图结构；

5、根据所述像素分支的空谱特征进行子图采样，根据子图采样结果构造多个像素子图结构；

6、分别对所述超像素图结构和所述多个像素子图结构进行单层图卷积网络的特征变换，得到超像素级特征和多个像素子图特征；

7、将所述超像素级特征和所述多个像素子图特征进行交互融合，输出更新特征；

8、将所述更新特征分别输入所述超像素分支和所述像素分支，再分别输入单层图卷积网络，得到更新的超像素级特征和更新的多个像素子图特征；

9、拼接所述更新的超像素级特征和所述更新的多个像素子图特征，进行分类输出，得到高光谱遥感影像分类结果。

10、根据本发明提供的一种基于融合图网络的高光谱遥感影像分类方法，根据所述超像素分支的光谱特征和空间特征，基于hslic算法划分所述超像素分支的同质超像素，以所述同质超像素为节点构建超像素图结构，包括：

11、以任一超像素内所有超像素空间信息之和与任一超像素包含超像素个数，得到超像素内部局部空间特征；

12、以任一超像素所有相邻超像素的超像素内部局部空间特征与相邻超像素影响权值进行加权求和，得到超像素全局空间特征，其中所述相邻超像素影响权值由所述超像素内部局部空间特征和权重滤波核参数所获得；

13、以任一超像素内所有超像素光谱特征之和与任一超像素包含超像素个数，得到超像素光谱特征；

14、计算所述超像素光谱特征的光谱角距离得到超像素节点光谱特征距离，计算所述超像素内部局部空间特征和所述超像素全局空间特征的马氏距离，得到超像素节点空间特征距离；

15、基于肖尔乘积计算所述超像素节点光谱特征距离和所述超像素节点空间特征距离，得到超像素节点空谱联合距离；

16、利用所述超像素节点空谱联合距离和rbf函数控制参数，得到超像素节点间连接权重，基于所述超像素节点间连接权重构建所述超像素图结构。

17、根据本发明提供的一种基于融合图网络的高光谱遥感影像分类方法，根据所述像素分支的空谱特征进行子图采样，根据子图采样结果构造多个像素子图结构，包括：

18、获取子图中的任一节点光谱特征和任一节点空间信息；

19、计算子图节点光谱特征之间的光谱角距离得到子图节点光谱特征距离，计算子图节点空间信息之间的马氏距离得到子图节点空间特征距离；

20、基于肖尔乘积计算所述子图节点光谱特征距离和所述子图节点空间特征距离，得到子图节点空谱联合距离；

21、利用所述子图节点空谱联合距离和rbf函数控制参数，得到子图节点连接权重，基于所述子图节点连接权重构建所述多个像素子图结构。

22、根据本发明提供的一种基于融合图网络的高光谱遥感影像分类方法，将所述超像素级特征和所述多个像素子图特征进行交互融合，输出更新特征，包括：

23、对所述超像素分支中任一层的上一层进行网络学习，获得所述像素分支中任一层网络的更新邻接矩阵；

24、对所述像素分支中任一层的上一层进行网络学习，获得所述超像素分支中任一层网络的更新邻接矩阵；

25、基于所述像素分支中任一层网络的更新邻接矩阵得到所述超像素分支任一层的更新特征输出；

26、基于所述超像素分支中任一层网络的更新邻接矩阵得到所述像素分支任一层的更新特征输出。

27、根据本发明提供的一种基于融合图网络的高光谱遥感影像分类方法，对所述超像素分支中任一层的上一层进行网络学习，获得所述像素分支中任一层网络的更新邻接矩阵，包括：

28、根据所述超像素分支中任一层的上一层任意两个超像素节点的特征输出和rbf函数控制参数，得到任意两个超像素节点间连接权重；

29、由所述任意两个超像素节点间连接权重和所述像素分支中任一层网络的邻接矩阵，得到所述像素分支中任一层网络的更新邻接矩阵；

30、对应地，对所述像素分支中任一层的上一层进行网络学习，获得所述超像素分支中任一层网络的更新邻接矩阵，包括：

31、根据所述像素分支中任一层的上一层任意两个像素节点的特征输出和rbf函数控制参数，得到任意两个像素节点间连接权重；

32、由所述任意两个像素节点间连接权重和所述超像素分支中任一层网络的邻接矩阵，得到所述超像素分支中任一层网络的更新邻接矩阵。

33、根据本发明提供的一种基于融合图网络的高光谱遥感影像分类方法，基于所述像素分支中任一层网络的更新邻接矩阵得到所述超像素分支任一层的更新特征输出，包括：

34、对所述像素分支中任一层网络的更新邻接矩阵进行最大池化，输出像素池化特征；

35、将所述像素池化特征与所述超像素分支任一层的特征输出进行向量拼接，得到所述超像素分支任一层的更新特征输出；

36、对应地，基于所述超像素分支中任一层网络的更新邻接矩阵得到所述像素分支任一层的更新特征输出，包括：

37、对所述超像素分支中任一层网络的更新邻接矩阵进行最大池化，输出超像素池化特征；

38、将所述超像素池化特征与所述像素分支任一层的特征输出进行向量拼接，得到所述像素分支任一层的更新特征输出。

39、第二方面，本发明还提供一种基于融合图网络的高光谱遥感影像分类系统，包括：

40、采集获取模块，用于采集遥感图像数据集，获取所述遥感图像数据集中的超像素分支和像素分支；

41、第一构建模块，用于根据所述超像素分支的光谱特征和空间特征，基于hslic算法划分所述超像素分支的同质超像素，以所述同质超像素为节点构建超像素图结构；

42、第二构建模块，用于根据所述像素分支的空谱特征进行子图采样，根据子图采样结果构造多个像素子图结构；

43、变换模块，用于分别对所述超像素图结构和所述多个像素子图结构进行单层图卷积网络的特征变换，得到超像素级特征和多个像素子图特征；

44、融合模块，用于将所述超像素级特征和所述多个像素子图特征进行交互融合，输出更新特征；

45、更新模块，用于将所述更新特征分别输入所述超像素分支和所述像素分支，再分别输入单层图卷积网络，得到更新的超像素级特征和更新的多个像素子图特征；

46、输出模块，用于拼接所述更新的超像素级特征和所述更新的多个像素子图特征，进行分类输出，得到高光谱遥感影像分类结果。

47、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于融合图网络的高光谱遥感影像分类方法。

48、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于融合图网络的高光谱遥感影像分类方法。

49、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于融合图网络的高光谱遥感影像分类方法。

50、本发明提供的基于融合图网络的高光谱遥感影像分类方法及系统，通过应用针对高光谱遥感影像的特性改进超像素分割算法，使其能够顾及影像中的全局信息，同时兼顾粗细粒度信息的特征提取，并在模型的卷积过程中进行相互引导以优化图结构和节点特征从而完成高精度的分类。