基于对抗融合特征和Transformer的矿区土地利用分类方法和系统

本发明涉及遥感、地理信息系统以及机器学习和人工智能，特别涉及一种基于对抗融合特征和transformer的矿区土地利用分类方法和系统。

背景技术：

1、煤炭在能源生产和消费中占有重要地位。矿产资源在开采过程中会导致矿坑、固体废物和其他露天采矿元素的快速形成，造成资源破坏、地质灾害和环境污染等一系列环境问题，严重阻碍区域可持续发展。快速准确地掌握矿区土地利用情况是全面了解采矿活动对矿区生态环境影响及科学制定生态修复规划的关键。

2、现阶段，基于遥感的基于对抗融合特征和transformer的矿区土地利用分类方法主要可以分为3类：(1)目视解译方法:目视解译是依赖解译员的经验和知识，依据矿区各土地利用类型在遥感影像上的色彩、形状、大小、纹理等特征进行分类的方法。这种方法虽应用范围广且具有较高的精度，但该方法依赖于个人的技能和经验，主观性较强，效率较低，不适合大规模应用。(2)机器学习方法：这种方法通过选取矿区已知分类信息的区域作为训练集，对分类算法模型(如随机森林、支持向量机、最大似然法等)进行训练，然后可以实现大范围的影像分类。虽然可以用自动化的方式获取客观分类结果，但是其精度受限于训练样本的质量和数量。(3)深度学习方法：深度学习技术利用多层神经网络自动从遥感数据中学习特征，无需依赖人工提取特征，就可以捕获土地利用类型的细微差别，且能适应多变的环境条件。该方法现已经成为自动识别和分类矿区土地利用状态的有力工具。

3、但是目前深度学习在矿区土地利用分类领域的研究主要围绕cnn网络设计，缺乏对transformer的关注。transformer可以对特征图进行全局建模，十分有利于模型理解矿区复杂土地利用类型间的相关关系。此外，现阶段基于深度学习的基于对抗融合特征和transformer的矿区土地利用分类方法多依赖于单一数据源和神经网络特征，缺少多源数据的协同互补和手工特征的利用，限制了复杂矿区场景下土地利用分类的精度。

技术实现思路

1、本发明针对现有技术的缺陷，提供了一种基于对抗融合特征和transformer的矿区土地利用分类方法和系统。利用对抗学习以权值共享的方式促进sentinel-1的合成孔径雷达(sar)数据和sentinel-2的多光谱(msi)数据的特征融合，并通过配准模块实现sar和msi的特征对齐，然后将多源深度融合特征和手工浅层特征共同输入多尺度局部增强transformer实现矿区用地的精细化分类。

2、为了实现以上发明目的，本发明采取的技术方案如下：

3、一种基于对抗融合特征和transformer的矿区土地利用分类方法，包括以下步骤：

4、a、制作用于矿区土地利用分类的msi及sar样本数据集，包括：数据预处理、数据标注、数据裁剪和划分和数据增强；

5、b、基于python搭建msi和sar对抗特征融合网络，包括以下子步骤：

6、b1.输入样本数据：将sar和msi样本数据以及相应的真实标签输入到对抗特征融合网络中；

7、b2.构建对抗特征融合网络：对抗特征融合网络由特征交互生成器和鉴别器组成；特征交互生成器是一个编码器-解码器结构，通过编码和解码阶段将sar和msi特征融合，并生成伪造的msi和sar数据；

8、b3.配准：将msi和sar特征进行配准，保证最优的特征融合结果；包括连续的卷积操作、交叉注意力机制和特征精确匹配，以获得已配准的sar特征；

9、b4.交叉注意力机制引入：利用标准卷积获得输入特征图的q，k，v，然后对q，k进行矩阵乘法后经softmax获得注意力权重，然后对sar和msi的值进行交叉操作，实现特征之间的融合；

10、b5.鉴别器结构设计：用于区分真实数据和伪造数据，以指导生成器的学习过程；

11、b6.多尺度特征融合模块设计：将融合特征经过深度可分离卷积处理后，与原始特征进行加法和乘法操作，经过残差结构获得最终用于矿区土地利用分类的融合特征；

12、c、基于python搭建矿区土地利用分类模型，包括以下子步骤：

13、c1.引入基于灰度共生矩阵glcm的矿区纹理特征；

14、c2.特征融合：将msi影像的glcm纹理特征与之前获得的步骤b得到的融合特征进行结合，通过嵌入层处理，然后进入transformer编码层；

15、d、利用训练集和验证集对矿区土地利用分类模型进行训练，包括以下子步骤：

16、d1.损失函数构建：使用制作好的训练集对矿区土地利用分类模型进行训练；矿区土地利用分类模型的损失函数由msi和sar的对抗特征融合模型部分和矿区土地利用分类模型部分的损失函数组成；其中，损失函数的权重由可训练参数λ1和λ2决定；

17、d2.对抗训练：采用对抗损失函数实现对抗训练；其中，生成器的损失和鉴别器的损失不断迭代以达到纳什均衡；

18、d3.使用交叉熵损失评估分类准确性：矿区土地利用分类模型采用交叉熵损失函数，评估模型对矿区土地利用类型的分类准确性；

19、d4.设置迭代训练次数：设置迭代训练次数，进行多次迭代训练；每一次迭代训练中，利用梯度下降算法降低模型损失值，并优化和更新模型的参数；

20、e、应用训练完成的矿区土地利用分类模型进行语义分割任务。

21、进一步地，步骤a的子步骤如下：

22、a1.数据预处理：对sentinel-1单极化数据进行预处理，包括裁剪、相干斑噪声抑制和辐射校正；并使用已经大气校正的sentinel-2l2a级msi数据作为参考影像，对sar数据进行初步配准；

23、a2.数据标注：对msi数据进行标注，勾画研究区域内矿区各类地物的边界，并定义矿区用地的类别标签数据；

24、a3.数据裁剪和划分：将处理后的msi和配准的sar数据裁剪成统一大小的样本块，然后按照训练集、验证集和测试集的比例随机划分；确保每个集合中都有各类地物的代表性样本；

25、a4.数据增强：由于矿区数据量较小，采用多种数据增强技术来提高数据集的多样性；包括对图像进行旋转、翻转、缩放的变换，以及添加模拟噪声。

26、进一步地，步骤b3的子步骤如下：

27、第一个编码器的输出特征分别通过两个连续的空洞率为2，卷积核为3的空洞卷积、bn、relu操作，得到和

28、将原始特征进行配对，分别输入交叉注意力模块；通过交叉注意力实现对应特征之间的融合，获得交叉特征图

29、在中随机取样选取样本点，并以样本点为中心使用二维搜索，搜索范围设置为[-r，r]，实现交叉特征图的精确匹配；

30、对sar特征使用获得的几何变换参数进行配准，获得已配准的sar特征

31、进行上采样后，与拼接，然后通过3×3卷积、bn、relu、1×1卷积、bn、relu操作，获得最终校准的sar特征。

32、进一步地，步骤b4中，进行交叉操作的公式如下：

33、

34、式中，分别表示通过交叉注意力机制计算得到的msi特征和sar特征；

35、qmsi表示从msi特征图中提取的查询向量；

36、kmsi表示从msi特征图中提取的键向量；

37、vsar表示从sar特征图中提取的值向量；

38、表示msi的查询向量和键向量的点积，结果是一个注意力权重矩阵，表示每个msi特征和所有其他msi特征之间的相关性；

39、qsar表示从sar特征图中提取的查询向量；

40、ksar表示从sar特征图中提取的键向量；

41、vmsi表示从msi特征图中提取的值向量；

42、表示sar的查询向量和键向量的点积，结果是一个注意力权重矩阵，表示每个sar特征和所有其他sar特征之间的相关性。

43、进一步地，步骤c中为了提高矿区土地利用分类模型对局部信息的建模能力，引入了一种局部增强注意力机制；通过将全局上下文信息和局部信息结合，使用多个平行的卷积分支来挖掘局部信息，最终将全局信息和局部信息相结合，以获得更好的特征表示。

44、进一步地，d1中，模型的损失函数公式如下：

45、l＝λ1lgd+λ2lclass，且λ1+λ2＝1

46、式中，lgd为对抗特征融合模型部分的损失函数，lclass为矿区土地利用分类模型部分的损失函数。λ1为对抗特征融合模型部分的损失函数的权重，λ2为矿区土地利用分类模型部分的损失函数权重，且λ1和λ2为网络的可训练参数。l为模型的损失值之和，以此来表示模型的误差大小。

47、进一步地，d2中，采用对抗损失函数实现对抗训练，公式如下：

48、lg＝-log(d(g(z)))

49、ld＝-[log(d(x))+log(1-d(g(z)))]

50、式中，lg代表生成器的损失，ld代表鉴别器的损失，二者不断迭代达到纳什均衡；g(z)是生成器g的输出，z是随机噪声向量；d(x)是鉴别器对真实数据x的评估输出，表示鉴别器认为x是真实数据的概率，x是真实样本；d(g(z))是鉴别器对生成器输出的评估。

51、进一步地，d3中，使用交叉熵损失评估分类准确性，公式如下：

52、

53、其中，yo,c是观测样本o中类别c的真实标签，po,c是模型预测样本o属于类别c的概率，m是类别的总数。

54、本发明还公开了一种矿区土地利用分类系统，该系统能够用于实施上述矿区土地利用分类方法，具体的，包括：

55、数据预处理模块：用于msi与sar数据采集，进行几何和辐射校正，消除影像的几何变形和辐射差异，将msi和sar影像进行空间对齐，数据配准。

56、特征提取模块：从msi影像中提取基于灰度共生矩阵(glcm)的纹理特征，识别矿区的独特纹理信息。通过深度神经网络(从msi和sar影像中提取高层次特征。

57、特征融合模块：用于对抗特征融合和特征配准

58、对抗特征融合：采用生成对抗网络(gan)将msi和sar的特征进行融合，生成更具表现力的特征表示。

59、特征配准：使用连续卷积操作、交叉注意力机制和几何变换匹配msi和sar特征，保证特征的对齐和融合。

60、分类模型构建模块：采用transformer架构，结合多头自注意力机制和前馈网络，进行特征编码和分类。引入局部增强注意力机制，提高模型对矿区局部细节的捕捉能力。

61、模型训练模块：将预处理后的数据划分为训练集和验证集，进行数据增强。

62、设计联合损失函数，包括对抗特征融合损失和分类损失，以优化模型性能。

63、设置训练参数，通过梯度下降算法优化模型参数。

64、结果分析与可视化模块：对分类结果进行精度评估，计算混淆矩阵、总体精度、kappa系数的指标。

65、将分类结果以地图形式展示，方便用户直观理解和分析。

66、本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述矿区土地利用分类方法。

67、本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述矿区土地利用分类方法。

68、与现有技术相比，本发明的优点在于：

69、1.增强地表信息：本发明通过结合msi和sar数据的对抗特征融合模型，有效地融合了多源遥感数据。相比传统的单一数据源，这种方法能够提供更丰富的地表信息，提高了对不同地表类型的辨识能力。

70、2.解决空间偏移问题：引入特征配准模块，有效解决了异源数据的空间偏移问题。通过精确的特征对齐和融合，可以显著提高矿区土地利用分类模型的准确性和鲁棒性。

71、3.提升局部感知能力：通过设计局部增强transformer模块，显著提升了模型对局部纹理和结构变化的感知能力。这对于复杂地表特征的识别尤为重要，尤其是矿区的土地利用类型，常常需要精细的局部特征解析来进行有效分类。

72、4.优化分类细节表现：该策略使得模型能够在保持全局上下文理解的同时，更精准地捕捉和利用局部特征，优化了分类的细节表现。这种方法确保了模型在处理复杂地形时的高效性和准确性。

73、5.增强纹理捕捉能力：在使用msi和sar融合特征的同时，引入基于灰度共生矩阵(glcm)的纹理特征，增强了模型对于地表纹理细节的捕捉能力。glcm特征提供了关于图像纹理的详尽信息，包括但不限于对比度、同质性、熵和相关性等。

74、6.提高分类全面性和准确性：在矿区这种地形和地表材料复杂多变的环境中，glcm特征尤其有价值，能够提供更加全面和准确的分类结果。这一特性使得模型能够更好地应对矿区土地利用分类中的各种挑战，提高了分类的全面性和准确性。