多源遥感数据融合分类方法、装置、设备和存储介质与流程

本技术涉及图像数据处理，尤其涉及多源遥感数据融合分类方法、装置、设备和存储介质。

背景技术：

1、随着对地观测技术的飞速发展，现已研制出了不同类型的传感器来获取地物的多源信息。例如，多光谱和高光谱相机能获取地物的光谱属性，激光雷达(light detectionand ranging,lidar)传感器能直接获取地物的三位空间信息，合成孔径雷达(syntheticaperture radar,sar)传感器能获取振幅和相位信息。然而，仅依靠单一传感器获得的遥感数据是不全面的。

2、相关技术中结合深度学习进行多源遥感数据融合，例如基于卷积神经网络模型(convolutional neural networks,cnn)。但是由于遥感数据本身的空间结构复杂性较高，且多源数据之间的异构性较强，使用传统的卷积操作的cnn模型难以有效建模空间距离较远的信息，这导致融合得到的特征表征能力不足，从而使得基于融合特征的遥感数据的分类准确度较低。

技术实现思路

1、本技术实施例的主要目的在于提出多源遥感数据融合分类方法、装置、设备和存储介质，提高多源遥感数据的融合特征表征能力，提升遥感数据分类准确率。

2、为实现上述目的，本技术实施例的第一方面提出了一种多源遥感数据融合分类方法，包括：

3、获取第一遥感图像的第一图像块和对应的第二遥感图像的第二图像块，所述第一遥感图像和所述第二遥感图像的数据来源不同；

4、将所述第一图像块和所述第二图像块输入数据动态交互模块进行动态卷积特征提取，得到第一交互特征和第二交互特征；

5、将所述第一交互特征和所述第二交互特征进行特征融合，得到所述第一交互特征对应的第一语义特征、所述第二交互特征对应的第二语义特征和融合语义特征；

6、分别将所述第一语义特征、所述第二语义特征和所述融合语义特征输入对应的分类器进行分类预测，得到第一分类结果、第二分类结果和第三分类结果，对所述第一分类结果、所述第二分类结果和所述第三分类结果进行结果融合，得到所述第一遥感图像和所述第二遥感图像的融合分类结果。

7、在一些实施例，至少一个所述数据动态交互模块级联，所述将所述第一图像块和所述第二图像块输入数据动态交互模块进行动态卷积特征提取，得到第一交互特征和第二交互特征，包括：

8、利用所述数据动态交互模块对输入数据进行动态卷积特征提取，得到输出数据，其中，前一个所述数据动态交互模块的输出数据作为后一个所述数据动态交互模块的输入数据，第一个所述数据动态交互模块的输入数据为所述第一图像块和所述第二图像块；

9、获取最后一个所述数据动态交互模块的输出数据作为所述第一交互特征和所述第二交互特征。

10、在一些实施例，所述输入数据包括第一输入数据和第二输入数据，所述输出数据包括第一输出数据和第二输出数据；所述利用所述数据动态交互模块对输入数据进行动态卷积特征提取，得到输出数据，包括：

11、利用第一卷积层对所述第一输入数据进行特征提取，得到第一降维特征，以及利用第二卷积层对所述第二输入数据进行特征提取，得到第二降维特征；

12、利用级联的第一池化层和第三卷积层对所述第一输入数据进行特征提取，得到第一滤波特征，以及利用级联的第二池化层和第四卷积层对所述第二输入数据进行特征提取，得到第二滤波特征；

13、对所述第一降维特征和所述第二滤波特征进行逐深度卷积，得到第一深度卷积特征，将所述第一深度卷积特征输入第五卷积层得到所述第一输出数据；

14、对所述第二降维特征和所述第一滤波特征进行逐深度卷积，得到第二深度卷积特征，将所述第二深度卷积特征输入第六卷积层得到所述第二输出数据，最后一个所述数据动态交互模块的所述第一输出数据为所述第一交互特征，所述第二输出数据为所述第二交互特征。

15、在一些实施例，所述将所述第一交互特征和所述第二交互特征进行特征融合，得到所述第一交互特征对应的第一语义特征、所述第二交互特征对应的第二语义特征和融合语义特征，包括：

16、利用第一融合模块对所述第一交互特征进行语义特征提取，得到所述第一语义特征；

17、利用注意力融合模块对所述第一交互特征和所述第二交互特征进行特征融合，得到注意力特征；

18、利用第二融合模块对所述注意力特征进行语义特征提取，得到所述融合语义特征；

19、利用第三融合模块对所述第二交互特征进行语义特征提取，得到所述第二语义特征。

20、在一些实施例，所述利用注意力融合模块对所述第一交互特征和所述第二交互特征进行特征融合，得到注意力特征，包括：

21、将所述第一交互特征和所述第二交互特征进行累加得到累加特征，将所述累加特征输入所述注意力融合模块进行特征融合，得到融合特征；

22、获取所述第一交互特征和所述融合特征的乘积得到第一中间特征，以及获取所述第二交互特征和所述融合特征的关联特征的乘积得到第二中间特征，所述关联特征和所述融合特征的和为一；

23、根据所述第一中间特征和所述第二中间特征得到所述注意力特征。

24、在一些实施例，所述将所述累加特征输入所述注意力融合模块进行特征融合，得到融合特征，包括：

25、对所述累加特征依次进行池化操作、第一逐点卷积操作、第一激活操作、第二逐点卷积操作和第二激活操作得到第一融合特征；

26、对所述累加特征依次进行第三逐点卷积操作、第三激活操作、第四逐点卷积操作和第四激活操作得到第二融合特征；

27、将所述第一融合特征和所述第二融合特征进行累加得到累加融合特征；

28、对所述累加融合特征进行第五激活操作之后得到融合激活特征，计算所述融合激活特征和所述累加特征之间的乘积得到所述融合特征。

29、在一些实施例，所述第一融合模块由第一池化层、第一矢量拉伸层和第一全连接层级联得到，所述利用第一融合模块对所述第一交互特征进行语义特征提取，得到所述第一语义特征，包括：

30、利用所述第一池化层对所述第一交互特征进行池化操作，得到第一池化特征；

31、利用所述第一矢量拉伸层对所述第一池化特征进行矢量拉伸操作，得到第一矢量拉伸特征；

32、利用所述第一全连接层对所述第一矢量拉伸特征进行全连接操作，得到所述第一语义特征。

33、在一些实施例，所述获取第一遥感图像的第一图像块和对应的第二遥感图像的第二图像块，包括：

34、基于选取的标记像素在所述第一遥感图像中选取预设大小的第一初始图像块，以及基于所述标记像素在所述第二遥感图像中选取所述预设大小的第二初始图像块；

35、利用第一图像卷积层对所述第一初始图像块进行尺度调整，得到所述第一图像块，以及利用第二图像卷积层对所述第二初始图像块进行尺度调整，得到所述第二图像块。

36、在一些实施例，所述对所述第一分类结果、所述第二分类结果和所述第三分类结果进行结果融合，得到所述第一遥感图像和所述第二遥感图像的融合分类结果，包括：

37、获取所述第一分类结果、所述第二分类结果和所述第三分类结果的加权结果，作为所述第一图像块和所述第二图像块的像素分类结果；

38、获取所述第一遥感图像和所述第二遥感图像的所有图像块对应的所述像素分类结果，根据所有的所述像素分类结果得到所述融合分类结果。

39、为实现上述目的，本技术实施例的第二方面提出了一种多源遥感数据融合分类装置，包括：

40、数据获取模块：用于获取第一遥感图像的第一图像块和对应的第二遥感图像的第二图像块，所述第一遥感图像和所述第二遥感图像的数据来源不同；

41、交互特征提取模块：用于将所述第一图像块和所述第二图像块输入数据动态交互模块进行动态卷积特征提取，得到第一交互特征和第二交互特征；

42、语义特征融合模块：用于将所述第一交互特征和所述第二交互特征进行特征融合，得到所述第一交互特征对应的第一语义特征、所述第二交互特征对应的第二语义特征和融合语义特征；

43、分类输出模块：用于分别将所述第一语义特征、所述第二语义特征和所述融合语义特征输入对应的分类器进行分类预测，得到第一分类结果、第二分类结果和第三分类结果，对所述第一分类结果、所述第二分类结果和所述第三分类结果进行结果融合，得到所述第一遥感图像和所述第二遥感图像的融合分类结果。

44、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

45、为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

46、本技术实施例提出的多源遥感数据融合分类方法、装置、设备和存储介质，通过获取第一遥感图像的第一图像块和对应的第二遥感图像的第二图像块，其中，第一遥感图像和第二遥感图像的数据来源不同。接着将第一图像块和第二图像块输入数据动态交互模块进行动态卷积特征提取，得到第一交互特征和第二交互特征。再将第一交互特征和第二交互特征进行特征融合，得到第一交互特征对应的第一语义特征、第二交互特征对应的第二语义特征和融合语义特征，最后分别将第一语义特征、第二语义特征和融合语义特征输入对应的分类器进行分类预测，得到第一分类结果、第二分类结果和第三分类结果，根据第一分类结果、第二分类结果和第三分类结果得到第一遥感图像和第二遥感图像的融合分类结果。本技术实施例中通过动态卷积特征提取方法，能够获取不同数据源的遥感数据之间的交互特征。在融合阶段，基于这些交互特征可以发挥各数据源的优势，从而获得具有强大表征能力的融合语义特征。最后基于这些融合后的语义特征进行分类，并对分类结果进行结果融合，可以进一步提升多源遥感数据的分类准确度。