一种多任务地块提取方法和装置

本发明属于耕地地块提取，具体涉及一种多任务地块提取方法和装置。

背景技术：

1、耕地资源，作为农业生产的基础，对于国家粮食安全和社会经济发展至关重要。因此，采用遥感等高新技术对耕地进行提取变得尤为重要。这使得相关部门能够基于现势数据，制定或调整土地管理政策，确保耕地利用的可持续性。

2、随着遥感影像空间分辨率的逐步提高及深度学习算法的快速发展，基于深度学习的方法在地块提取领域得到了广泛应用。深度学习模型通过学习大量图像数据中的特征表示，能够自动提取地块的复杂特征，包括纹理、颜色、形状等，从而实现更准确的地块提取，无需手动设计特征。因此，与传统方法相比，深度学习方法具有更强的泛化性，能够有效处理复杂地物和不同地域数据。现有的基于深度学习的地块提取方法根据依赖特征的不同，可以分为基于语义和基于边缘的方法。

3、基于语义的方法通过深度学习模型对遥感影像上的像素进行类别划分，将其划分为地块及非地块，实现对每个像素的类别判别。然而，由于语义分割方法主要关注全局特征，且编码器中存在的多次下采样操作可能会导致深层特征空间位置信息丢失。因此，基于语义的地块提取方法存在一些问题。首先是边界粘连问题，即当多个地块形态相似且位置紧邻时，语义分割算法可能生成粘连在一起的多边形对象，进而模糊了单个地块的准确边界。其次，共享边界的特性可能导致算法在提取地块时产生边界位置的不准确。最后，椒盐噪声的存在可能对分类精度产生负面影响，从而降低地块的提取效果。

4、基于边缘的地块提取方法主要思想在于强化地块边缘信息，进而生成具有明确边界的地块图像，以促进地块的精确划分。通过深度学习模型的应用，对图像视觉特征快速变化的边界进行检测，并通过封闭边界表示地块。与基于语义的方法相比，基于边缘的地块提取减少了地块间粘连现象并有效地抑制了椒盐噪声。但由于边缘信息是一种弱信息，仅使用边缘检测的方法进行地块提取可能会出现边缘断裂的情况，而包含孤立线段或缺失信息的未闭合边缘将导致无法获得最终的地块矢量，从而影像地块提取的精度。

技术实现思路

1、本发明要克服现有技术的上述缺点，提供一种尺度注意力引导的多任务地块提取方法和装置。

2、将边缘信息与语义信息结合用于遥感影像中的地块提取，具有显著的优势。基于语义的方法能够捕获影像的全局特征，提供对地块类别的准确判断。边缘检测方法则能够突出地块之间的边界，尤其是那些像素值变化明显的区域。由于不同层次的特征所包含的信息不相同，深层语义信息包含了丰富的全局特征和上下文信息，对于理解影像的整体内容非常有用，有助于准确地判别地物的语义信息。浅层边缘信息反映了像素之间的局部变化和地块的边界特征，对于保持地块的边界完整性和准确性至关重要，有助于准确地识别地块的边界。结合两者，可以充分利用不同层次的特征，从全局到局部，实现地块提取的全面性和准确性。

3、语义分割和边缘检测是两种不同但相关的任务。由于这两种任务关注的信息不同，使用独立的多分支结构是有意义的。本发明设计了一种多任务地块提取方法，通过多分支结构实现不同任务的协同训练。(1)设计独立的语义及距离解码器和边缘解码器进行信息重构，确保了不同任务在信息处理阶段的独立性。这种设计使得模型能够在共享特征的同时，有效区分并恢复各自的高层语义信息和低层边缘信息。(2)针对下采样过程中的特征丢失问题，设计了特征压缩模块fcm，在降低维度的同时更多的保留特征间的空间信息，改进了方法对于小块耕地的提取效果。(3)引入空间组注意力机制增强不同层次的特征表示，通过动态调整对不同空间区域的关注程度，以提高地块提取的准确性和完整性。本发明方法包含语义分割、边缘检测及距离映射三个子任务，分别提升地块内部特征理解、边界精确侦测能力和边界处理流畅性。这种多任务协同策略不仅提高了单任务精度，还通过交叉优化增强了整体地块提取性能。

4、本发明的第一个方面涉及一种多任务地块提取方法，包含以下步骤：

5、(1)基于高分二号遥感影像制作耕地地块数据集，并划分为训练集和测试集；

6、(2)构建特征提取网络，对swin transformer进行改进，得到改进后的网络作为特征编码器；

7、(3)设计语义及距离解码器、边缘解码器对特征编码器提取特征进行解码，编码器和解码器共同组成多任务地块提取模型；

8、(4)使用多任务损失函数对多任务地块提取模型进行监督训练，同时处理多个相关任务优化模型的性能；

9、(5)将训练集输入到多任务地块提取模型中进行训练，用测试集计算模型的精度，选择测试集精度最高的模型作为最终的地块提取模型；

10、(6)将待预测遥感影像输入训练好的地块提取模型中，采用滑动窗口方法对遥感影像进行预测，得到地块的语义结果、距离结果及边缘结果。

11、所述步骤(1)具体包括以下步骤：

12、(1a)下载空间分辨率为1m的高分二号遥感影像；

13、(1b)在arcmap中打开下载的高分二号遥感影像，使用其中的标记工具选取地块丰富且具有特色区域进行打点标记，并将标记转为点矢量文件；

14、(1c)根据步骤(1b)所获得的点矢量文件对遥感影像进行裁剪，获得大小为1024*1204的待标注影像，并为裁剪后的每张影像创建对应其地理位置的面矢量；

15、(1d)根据步骤(1c)中获得的影像，使用arcmap中的剪切面工具对步骤(1c)获得的面矢量进行编辑，勾绘出地块多边形；

16、(1e)将步骤(1d)中获得的面矢量进行栅格转换，转化为语义标签及边缘标签，根据语义标签，使用opencv中的距离映射算法获得距离标签；

17、(1f)对步骤(1c)中获得的遥感影像和步骤(1e)中获得的三种标签进行同步裁剪，获得1600对大小为256*256的初始样本集；

18、(1g)对步骤(1f)获得的初始样本集按7：2：1的比例划分训练集、测试集、验证集。

19、所述步骤(2)具体包括以下步骤：

20、(2a)采用swin transformer作为特征提取网络的基础，swin transformer由一个patch partition层和四个stage组成，patch partition层将输入的遥感影像切分成块，并将切分后的数据输入后续stage进行特征提取，除第一个stage外，其余三个stage均由一个patch merging模块和若干个swin transformer block组成；

21、(2b)设计特征压缩模块(feature compose module，fcm)对原swin transformer中的patch merging模块进行替换，用于缩小特征的分辨率并调整通道数。

22、所述步骤(3)具体包括以下步骤：

23、(3a)搭建语义及距离解码器：语义及距离解码器首先接收编码器中每个stage的输出特征为输入，为了增强特征的表示能力，使每个层次聚焦于不同尺度的信息，提高对小块耕地的识别精度，语义及距离解码器中使用了尺度注意力机制，引入了空间组注意力增强模块(spatial group-wise enhance module，sge)，通过计算不同空间组的权重，并将其应用于特征图上，确保重要的空间特征得到充分的重视和保留，同时减少非关键信息的干扰，在语义距离解码器中对每个stage输出的特征进行空间组注意力增强，接着对增强后的特征使用特征融合模块(feature fusion module，ffm)逐层次进行融合，最后将融合后的特征分别输入两个卷积层得到语义输出及距离输出；

24、(3b)所述空间组注意力增强模块将特征矩阵xh×w×c划分为k个组，每一个组包含x中抽取出来的一系列特征向量，具体而言，x可以表示为集合{x1,…,xm}，为了重新分配每个空间点的权重，sge模块计算了xi与全局特征向量g之间的相似度，全局特征向量g是通过对所有空间点的特征向量进行全局平均池化后得到的，如公式(2)所示，将每组特征xi与全局特征向量g进行点乘，得到初始注意力掩码，如公式(3)所示，为了避免不同样本之间系数大小偏差的影响，随后对ci进行标准化处理，如公式(4)所示；

25、

26、ci＝g·xi          (3)

27、

28、其中m为h与w的乘积；xi代表在h乘以w的空间布局中某一特定点的特征向量；ud和分别为ci的均值和方差；

29、(3c)所述特征融合模块先对经过增强的两组特征fi、fj进行合并，并将其依次输入一个1×1的卷积层、批标准化层、relu激活函数得到原始融合特征fc，计算公式如(5)所示，对处理后的特征fc进行全局平均池化以提取全局上下文信息，并通过两个1×1的卷积、relu激活函数和sigmoid函数产生一个注意力图fg，计算公式如(6)所示，将原始融合特征fc与生成的保留空间和通道信息的注意力图fg进行逐元素乘法得到fm，这一操作有效地将融合特征与保留的空间和通道信息相结合，最后得到的输出是fm与原始融合特征fc的总和，从而实现了丰富特征的整合和关键信息的保留，其计算公式如(7)所示：

30、fc＝relu(batchnorm(conv(concate(fi,fj))))   (5)

31、fg＝sigmoid(relu(conv(conv(fc))))   (6)

32、fout＝add(mul(fc,fg),fc)   (7)

33、其中batchnorm为批标准化，relu为整流线性单元函数，conv表示卷积核大小为1x1的卷积层；mul为逐元素相乘，add为逐元素相加；

34、(3d)搭建边缘解码器：边缘解码器通过双向特征聚合策略来恢复边缘信息，其中包括自顶向下路径和自底向上路径，以增强解码器中的信息流；具体而言，边缘解码器将每个stage中最后一个块的输出特征f1、f2、f3、f4作为输入；自顶向下路径使用卷积及反卷积操作对每个输入的特征进行处理，生成四个输出特征ti，i∈{1,2,3,4}，计算公式如(8)所示；同时，自底向上路径从最低级特征(即f4)开始，逐步向上融合，通过卷积层及反卷积层最终生成另外四个输出特征bi，i∈{1,2,3,4}，计算公式如(9)所示；将双向路径生成的八个上采样特征连接成一个张量，并利用一组附加的卷积层对连接的特征进行特征聚合，计算公式如(10)所示；最终，边缘解码器将输出{ffuse,t1,t2,t3,t4,b1,b2,b3,b4}等九个边缘概率图，并对每个边缘概率图进行监督训练。

35、

36、

37、ffuse＝conv(concate(t1,t2,t3,t4,b1,b2,b3,b4))      (10)

38、其中batchnorm为批标准化，relu为激活函数，conv表示3x3卷积，deconv为反卷积操作。

39、所述步骤(4)具体包括以下步骤：

40、(4a)使用语义损失函数优化语义子任务：语义损失函数采用二元交叉熵(binarycross entropy，bce)和dice系数损失，从而处理类不平衡和训练的稳定性问题。bce也称为对数损失函数(logarithmic loss)，它通常用于二分类任务中，其采用对数变换来衡量模型输出与实际标签之间的差异，能有效避免梯度消失的问题。bce损失函数的计算公式如下所示，其中代表标签中对应像素的值，则表示预测结果中对应像素的值：

41、

42、dice损失函数通常用于计算两个样本的相似度，取值范围在0-1之间，其计算公式如(12)所示，其中ym和分别表示标签和预测结果，∈为一个很小的常数，用于避免计算时分母为0的情况：

43、

44、语义任务总损失为bce损失和dice损失的加权和，计算公式如(13)所示：

45、lseg＝0.5·lbce+ldice       (13)

46、(4b)使用距离损失函数优化距离子任务：距离损失函数使用均方误差(meansquare error)来衡量预测距离分布图与标签之间的差异，计算公式如(14)所示，其中和分别代表距离的标签及预测结果：

47、

48、(4c)使用边缘损失函数优化边缘子任务：边缘检测损失函数通过引入两个系数α和β来改进二元交叉熵(bce)损失函数，以加权边缘(正样本)和非边缘(负样本)样本的损失，设为图像中边缘像素的标签，为预测的边缘结果，因此，每个边缘像素的边缘损失可由公式(15)推导得出：

49、

50、α和β定义如公式(16)所示，其中γ为平衡正负样本数量的超参数，y+和y-分别表示边缘像素和非边缘像素；

51、

52、

53、最终的边缘损失计算公式如(18)所示，其中为自顶向下每一层预测结果与标签的损失，为自底向上每一层预测结果与标签的损失，则为各层融合结果与标签的损失；

54、

55、所述步骤(5)具体包括以下步骤：

56、(5a)在ubuntu 22.04操作系统上进行训练与测试，使用anconda进行虚拟环境的搭建与管理，并使用nvidia a100(40gb)显卡来加速训练；

57、(5b)采用adam优化器优化网络模型参数，设置初始学习率为10-4，训练批次大小设置为16，测试批次大小设置为16，迭代次数设置为100；

58、(5c)选取测试集上精度最高模型作为最终的地块提取模型。

59、所述步骤(6)具体包括以下步骤：

60、(6a)选取(1a)中下载的大区域遥感影像输入最终的地块提取模型，采用512*512的窗口大小对影像进行滑动窗口预测，得到耕地地块的语义分割、距离映射、边缘检测结果；

61、(6b)对(6a)中得到的语义分割结果和边缘检测结果进行矢量化即可得到最终的地块提取结果。

62、本发明的第二个方面涉及一种多任务地块提取装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明的一种多任务地块提取方法。

63、本发明的第三个方面涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的一种多任务地块提取方法。

64、本发明为联合语义分割与边缘检测两种不同但相关的任务，本发明设计独立的语义及距离解码器和边缘解码器进行信息重构，确保了不同任务在信息处理阶段的独立性。这种设计使得模型能够在共享特征的同时，有效区分并恢复各自的高层语义信息和低层边缘信息。针对下采样过程中的特征丢失问题，设计了特征压缩模块fcm，在降低维度的同时更多的保留特征间的空间信息，改进了方法对于小块耕地的提取效果。同时本发明引入空间组注意力机制增强不同层次的特征表示，通过动态调整对不同空间区域的关注程度，以提高地块提取的准确性和完整性。本发明方法包含语义分割、边缘检测及距离映射三个子任务，分别提升地块内部特征理解、边界精确侦测能力和边界处理流畅性，并通过多任务的协同作用提升了整体地块提取的精度。

65、由上述技术方案可知，本发明的有益效果为：第一，本发明充分利用语义分割、边缘检测及距离映射三个子任务，分别提升地块内部特征理解、边界精确侦测能力和边界处理流畅性，多任务协同策略不仅提高了单任务精度，还通过交叉优化增强了整体地块提取性能；第二，本发明通过设计特征压缩模块，有效地解决了下采样过程中特征丢失的问题，在降低维度的同时保留更多的特征间空间信息，显著改进了对于小块耕地提取的效果，减少语义结果中的空洞现象；第三，本发明引入空间组注意力机制增强不同层次的特征表示，通过动态调整对不同空间区域的关注程度，以提高地块提取的准确性和完整性。