基于Topformer的遥感图像城市绿地空间识别方法及相关装置

本发明属于城市绿地空间识别，具体涉及一种基于topformer的遥感图像城市绿地空间识别方法及相关装置。

背景技术：

1、随着城市化进程的加速，城市绿地作为城市生态系统的重要组成部分，其在改善居民生态环境、公共卫生以及促进社会经济可持续发展等方面发挥着不可替代的作用。然而，传统的城市绿地空间识别方法，如基于像元和面向对象的方法，主要依赖于城市绿地的浅层特征，并且通常需要人工设定参数，这在很大程度上限制了其识别效率和准确性。

2、近年来，基于深度学习的语义分割方法为遥感影像的智能化解译提供了新的思路，特别是在城市绿地提取、地物分类、水体提取等任务中，深度学习技术表现出了显著的优越性。然而，由于遥感影像的高分辨率特性以及部分深度学习模型的复杂性，使得在图像分割过程中计算量庞大，训练和解译模型的成本高昂，这限制了其在资源受限的移动设备上的应用。

3、为了解决上述问题，研究人员探索了多种模型轻量化的方法，如采用mobilenet和shufflenet等更高效的算子，通过深度可分离卷积和分组卷积减少模型的参数量。虽然这些方法在一定程度上减小了模型的规模，但因其是基于cnn的模型，在特征提取过程中难以有效捕捉输入图像的全局关系，导致识别精度受限。

4、为了进一步提升识别精度，近年来有学者提出了将cnn与transformer相结合的方法，如mobilevit和topformer等，这些方法融合了cnn和vit的优势，取得了相对不错的分割精度。然而，topformer模型虽能同时建模输入遥感图像的低级和高级语义信息，并且较好地降低了网络参数量，但在下采样过程中仍存在细节丢失的问题，导致在预测城市绿地边缘区域时出现不准确，例如错误粘连或断连等现象，从而影响整体的识别精度。

技术实现思路

1、针对现有技术中存在的问题，本发明提供了一种基于topformer的遥感图像城市绿地空间识别方法及相关装置，旨在解决城市绿地识别过程中存在边缘预测不准确的问题。

2、为了解决上述技术问题，本发明通过以下技术方案予以实现：

3、一种基于topformer的遥感图像城市绿地空间识别方法，包括：

4、获取待识别的遥感图像；

5、将所述待识别的遥感图像输入城市绿地空间识别模型，输出识别结果；所述城市绿地空间识别模型是采用包含城市绿地空间的遥感图像样本训练改进的topformer模型得到的，所述改进的topformer模型包括基于坐标注意力机制构建的编码器以及采用dupsampling上采样方法的mlp解码器；所述基于坐标注意力机制构建的编码器用于同时提取遥感图像的局部和全局上下文信息，得到不同尺度的特征图；所述mlp解码器用于逐层聚合所述不同尺度的特征图，得到城市绿地空间信息。

6、进一步地，所述基于坐标注意力机制构建的编码器包括令牌金字塔模块、坐标注意力模块、语义提取器和语义注入模块；

7、所述令牌金字塔模块用于对遥感图像进行特征提取，得到token金字塔；

8、所述语义注入模块由1×1卷积层和batchnorm层组成，所述1×1卷积层和batchnorm层用于融合token金字塔中的局部tokens和全局tokens；

9、所述坐标注意力模块包括坐标信息嵌入单元和坐标注意力生成单元，所述坐标信息嵌入单元用于对所述tokens金字塔进行特征编码，得到tokens金字塔的水平方向和竖直方向的位置信息，所述坐标注意力生成单元用于根据所述位置信息生成水平方向和垂直方向带有注意力权重的特征图；

10、所述语义提取器包括l个transformer block，所述transformer block用于将所述带有注意力权重的特征图作为输入，捕获所述特征图的长距离依赖，并提取局部和全局上下文信息，得到不同尺度的特征图。

11、进一步地，所述根据所述位置信息生成水平方向和垂直方向带有注意力权重的特征图，具体为：

12、所述坐标注意力生成单元拼接所述坐标信息嵌入单元的输出，得到中间映射k，将所述中间映射k沿着空间维度变换为水平方向张量kh和垂直方向张量kw，采用卷积操作将水平方向张量kh和垂直方向张量kw变换为与tokens金字塔具有相同通道数，得到水平方向注意力权重gh和垂直方向注意力权重gw，采用乘法操作，得到水平方向和垂直方向带有注意力权重的特征图。

13、进一步地，所述将所述中间映射k沿着空间维度变换为水平方向张量kw和垂直方向张量kh，具体为：

14、gw＝σ(fw(kw))

15、gh＝σ(fh(kh))

16、式中，kh为水平方向张量；kw为垂直方向张量；σ为sigmoid激活函数；fw为垂直方向1×1卷积变换操作；fh为水平方向1×1卷积变换操作。

17、进一步地，所述采用乘法操作，得到水平方向和垂直方向带有注意力权重的特征图，具体为：

18、

19、式中，yc(i,j)为带有注意力权重的特征图；和为水平和垂直两个方向的注意力权重；xc(i,j)为初始未加注意力权重的特征图。

20、进一步地，所述mlp解码器包括线性层、dupsampling上采样层、连接层和分类层；

21、所述线性层用于统一所述token金字塔中的特征图的维度；

22、所述dupsampling上采样层用于将所述水平方向和垂直方向带有注意力权重的特征图采用卷积操作学习原像素和输入像素之间的映射关系，得到高分辨率特征图，并将所述高分辨率特征图融合；

23、所述全连接层和分类层用于将所述融合后的高分辨率特征图的维度大小转换为预测类别，得到城市绿地空间信息。

24、一种基于topformer的遥感图像城市绿地空间识别装置，包括：

25、获取模块，用于获取待识别的遥感图像；

26、识别模块，用于将所述待识别的遥感图像输入城市绿地空间识别模型，输出识别结果；所述城市绿地空间识别模型是采用包含城市绿地空间的遥感图像样本训练改进的topformer模型得到的，所述改进的topformer模型包括基于坐标注意力机制构建的编码器以及采用dupsampling上采样方法的mlp解码器；所述基于坐标注意力机制构建的编码器用于同时提取遥感图像的局部和全局上下文信息，得到不同尺度的特征图；所述mlp解码器用于逐层聚合所述不同尺度的特征图，得到城市绿地空间信息。

27、一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种基于topformer的遥感图像城市绿地空间识别方法的步骤。

28、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于topformer的遥感图像城市绿地空间识别方法的步骤。

29、与现有技术相比，本发明至少具有以下有益效果：

30、本发明提供的一种基于topformer的遥感图像城市绿地空间识别方法，城市绿地空间识别模型包括基于坐标注意力机制构建的编码器以及采用dupsampling上采样方法的mlp解码器；基于坐标注意力机制构建的编码器用于同时提取遥感图像的局部和全局上下文信息，得到不同尺度的特征图；mlp解码器用于逐层聚合不同尺度的特征图，得到城市绿地空间信息，该模型可以同时兼顾识别精度和模型复杂度。首先，采用topformer作为特征提取网络，捕获输入图像的局部和全局上下文信息；另外对其中的令牌金字塔模块进行改进，并引入坐标注意力机制减少冗余信息的干扰，从而增强模型对城市绿地的特征表达能力，以应对城市绿地在识别中出现的边缘预测不准确的问题；最后替换上采样过程中的双线性插值方法，采用dupsampling方法建立像素之间的关联性，可以缓解计算量过高的问题。所提方法不仅可以利用图像的语义、空间和边缘的信息，能够快速并准确地获取遥感影像中的城市绿地空间信息，解决了城市绿地识别过程中存在边缘预测不准确的问题，还可以同时建模局部和全局关系，同时降低了模型的参数量。

31、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。