融合扩散语义特征的遥感图像语义分割卷积神经网络方法

本发明属于深度学习语义分割，具体涉及融合扩散语义特征的遥感图像语义分割卷积神经网络方法。

背景技术：

1、遥感图像和深度学习的自动语义特征分割是地理信息科学中的一个关键研究任务，在遥感分析应用中占据着至关重要的位置。与基于计算机视觉领域语义分割相比，遥感图像语义分割产生了更为复杂和具有挑战性的问题。遥感图像通常涉及广阔的地理区域，其中地物特征复杂多样，导致类别出现高度异质化和复杂化，这种类别复杂性导致语义分割过程中出现样本类别的不平衡与地物分割精度的不平衡性等挑战。这些问题不仅增加了自动语义分割任务的难度，还间接影响了分割结果的准确性和泛化能力。因此，实现遥感语义分割需要更精细的空间信息和纹理细节。此外，地物特征在形态、纹理和尺度上的多样性增加了识别和分类的难度，这对设计自动遥感图像分割算法提出了更高的要求。在大规模土地利用和土地覆盖分割中，这些挑战更加明显。

2、在土地利用和土地覆盖分割的深度学习中，卷积神经网络已成为主流框架。各种卷积神经网络的变体，如u-net和deeplab系列，通过捕捉具有空间意义的多尺度特征及其集成能力，提高了分割质量。具有视觉注意机制的网络通过融合遥感数据中的空间特征和通道信息，进一步优化了分割精度并增强了复杂图像数据的分析能力。另一方面，具有自注意机制的模型，如视觉变压器，通过矩阵乘法进行自注意力计算，从而获得图像相邻像素的关系，可以有效建模图像中的全局和局部信息。swin transformer引入了移动窗口机制来扩大了感受野，成功地整合了不同尺度的特征信息，显著提高了高分辨率图像处理中的特征提取和内容理解能力，极大地改善了土地利用和土地覆盖分割任务。在基于卷积神经网络和转换器架构的遥感语义分割任务中，特征提取通常依赖于深度网络。然而，随着网络深度的增加，在数据的前馈过程中出现信息丢失，形成了所谓的信息瓶颈。在遥感语义分割中，信息瓶颈会导致输入遥感图像的小尺度和细节特征丢失，增加了视觉特征的异质性和复杂性，限制了地物样本分割的准确性。

技术实现思路

1、根据以上现有技术中的不足，本发明的目的在于提供融合扩散语义特征的遥感图像语义分割卷积神经网络方法，缓解了地物分割不平衡性，提升了模型在图像处理任务中的性能与效率，显著提高了边缘分割和细节分辨率，增强了轮廓可视化和分类准确性。

2、为达到以上目的，本发明提供了融合扩散语义特征的遥感图像语义分割卷积神经网络方法，包括以下步骤：

3、s1、基于遥感图像，获取盆地地区的土地利用与土地覆盖的数据集，并将数据集划分为训练集、验证集和测试集；

4、s2、基于编码器和解码器结构，构建适用于语义分割的卷积神经网络模型，其中编码器包含注意力模块、空洞卷积、空间金字塔池化、聚类模块以及来自扩散概率模型的注意力，解码器包含扩散概率模型和卷积层，解码器结合浅层特征和深度特征，通过调整通道数量、融合多尺度特征，并上采样恢复到原始图像大小以完成分类任务；

5、s3、利用sr3超分辨率图像生成模型对训练集、验证集进行无监督训练，生成预训练的sr3图像生成模型，基于sr3图像生成模型生成高质量的高分辨率图像，利用高分辨率图像训练卷积神经网络模型，以获取最优参数；

6、s4、利用训练好的卷积神经网络模型对测试集中的遥感图像样本进行处理，生成遥感语义分割结果图。

7、作为本发明的优选方案，所述的s1中，获取盆地地区的土地利用与土地覆盖数据集的过程为：

8、s11、采集盆地地区的高分辨率遥感图像；

9、s12、基于盆地地区的高分辨率遥感图像，利用人工目视解译技术绘制典型地貌特征，进行数据集的制作，数据集中包括六种典型地貌类型：戈壁、农田、水体、荒地、城市裸地和森林植被。

10、作为本发明的优选方案，所述的s1中，高分辨率遥感图像具体为0.59米高分辨率遥感图像，数据集被划分训练集、验证集和测试集，比例为6：2：2，数据集中每张图像的分辨率为256×256。

11、作为本发明的优选方案，所述的s3中，得到最优参数通过以下步骤实现：

12、s31、利用sr3超分辨率图像生成模型，对训练集、验证集中的256×256遥感图像样本进行无监督训练，生成预训练的sr3图像生成模型；

13、s32、基于sr3图像生成模型生成高质量的高分辨率图像，利用高分辨率图像训练卷积神经网络模型，通过训练调整聚类模块中的k值（聚类分析中的簇数量），观察不同聚类数目对语义分割的影响，并使用gap统计量来确定最佳的k值。

14、作为本发明的优选方案，所述的s31中，在进行无监督训练时，采用数据增强策略提升sr3超分辨率图像生成模型的泛化性能，数据增强策略包括随机调整尺寸、随机水平翻转以及随机裁剪。

15、作为本发明的优选方案，所述的s32中，gap统计量用于在聚类分析中确定最优的簇数量，表示为：

16、；

17、；

18、式中，k为聚类个数，r=1，2，……，k；cj为第j次聚类；μr表示聚类cr的中心；x为样本点；d表示样本点x到μr的距离；wk为聚类离散度；表示在参考分布下的期望值；n表示数据点的数量；表示n个数据点和k个聚类的gap统计量；log即为对数函数；

19、利用gap统计量对k值进行评估选择，寻找使得gap函数最大化的k值，以作为最优的簇数量，即为最佳的k值。argmax函数用于找出使某个函数达到最大值的自变量的值。

20、作为本发明的优选方案，所述的s4中，利用训练好的卷积神经网络模型对测试集中的遥感图像样本进行处理，生成遥感语义分割结果图的步骤为：

21、s41、编码器采用空洞卷积来扩展感受野，抽取数据集中遥感图像样本的语义特征；

22、s42、编码器使用选择性卷积核，利用sk注意力来捕捉遥感图像样本中的空间信息和复杂地表特征；

23、s43、解码器通过卷积层调整浅层特征的通道数量，在不降低特征图分辨率的情况下，生成浅层特征；

24、s44、将经过空洞卷积处理后的遥感图像样本与解码器生成的相应语义特征的浅层特征进行拼接融合操作，以整合语义特征与边缘形状特征；

25、s45、应用空间金字塔池化机制进一步提炼遥感图像样本中的纹理和颜色细节特征，捕获多尺度的语义深度特征；

26、s46、使用sk注意力和聚类模块对上一步骤获取的语义特征进行聚类和注意力增强，利用k-means聚类对空间金字塔池化机制生成的深度特征进行聚类，将具有相似语义的特征进行分组，减少特征中的冗余信息，通过gap统计量确定最佳聚类数k，将经过sk注意力和聚类模块处理后的特征，用于最终的图像分割任务；

27、s47、解码器采用扩散概率模型生成与遥感图像样本相应的语义特征，包括浅层特征与深度特征；

28、s48、将空间金字塔池化得到的深度特征与浅层特征结合，并在解码器中进行通道压缩集成；

29、s49、通过上采样操作，将集成后的特征集合恢复至原始遥感图像的尺寸，完成土地利用和土地覆盖的精确重建；

30、s410、对融合了多层次信息的特征集合执行最终上采样，恢复至原始遥感图像尺寸，完成逐像素级别的分类任务；

31、s411、根据上采样和分类的结果，生成遥感图像样本的语义分割结果图，展示不同土地利用和覆盖类型的精确分布。

32、作为本发明的优选方案，所述的s4中，sk注意力的实现方式表示为：

33、；

34、；

35、；

36、；

37、式中，globalavgpool表示全局平均池化；m代表卷积分支的数量，i=1，2，……，m；ui表示第i个卷积分支输出的特征图；u表示所有卷积分支输出特征图的总和；s是对全局特征池化输出的描述；z是经过特征映射后的低维空间表示；linear表示全连接层；表示第i个卷积分支的全连接层；表示第i个卷积分支归一化的注意力权重（attention weights即为归一化的注意力权重）；是激活函数；v表示最终输出的特征图；ai表示通过第i个卷积分支的全连接层得到的特征表示。

38、作为本发明的优选方案，所述的s4中，空洞卷积的实现方式表示为：

39、；

40、式中，表示空洞卷积操作后的输出特征图；y和x是输出特征图上的位置坐标；其中x表示水平坐标，y表示垂直坐标；dr是空洞率，决定了卷积核中相邻元素之间的间隔大小；表示卷积核中的具体位置坐标；表示卷积核在位置处的权重值。

41、作为本发明的优选方案，所述的s4中，空间金字塔池化机制的实现方式表示为：

42、；

43、；

44、；

45、式中，bi表示第i个卷积分支生成的特征；表示输入特征图i经过第i个卷积分支输出的特征图；表示对输入特征图i进行卷积操作,卷积核大小为ki，空洞率为di；g代表全局特征分支；表示经过全局平均池化、1×1卷积、批归一化、relu激活和上采样操作后的特征图；upsample表示上采样操作；relu表示非线性激活函数；bn表示批量归一化，用于加速模型训练并提高泛化能力；表示1×1卷积操作；concat表示连接操作；表示空间金字塔池化操作后的输出特征图。

46、本发明涉及的算法可以通过电子设备执行，电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，通过处理器执行软件实现上述的算法计算。

47、本发明所具有的有益效果是：

48、本发明引入了扩散概率模型的特性，通过将扩散概率模型解码器的特征融入到遥感语义分割任务中，并采用机器学习聚类算法及空间注意力机制来提取连续的扩散概率模型语义特征，该深度网络结合了扩散概率模型的优势，从而弥补了卷积神经网络在特征提取过程中丧失空间细节的问题，缓解了地物分割不平衡性，提升了模型在图像处理任务中的性能与效率，显著提高了边缘分割和细节分辨率，增强了轮廓可视化和分类准确性。

49、本发明在分割效果上优于现有技术中流行的语义分割模型，特别是在处理类别极度不平衡的训练样本时表现出色。视觉分析表明，本发明的模型能够更精确地描绘特征轮廓和细节，提高了分割准确性；扩散概率模型作为独立的特征提取器，通过无监督方法进行训练，避免了对标注数据的依赖，适用于处理大遥感数据样本；模型权重被冻结，仅优化轻量级分割模型的参数，使特征迁移更方便地应用于多种类型的遥感图像分割；创建了一个针对盆地地区低样本密度特征的类别不平衡高分辨率遥感图像数据集，专门用于语义分割任务。