基于局部全局特征互补感知模块的遥感图像目标检测方法与流程

本发明涉及遥感图像处理，更具体的说是涉及基于局部全局特征互补感知模块的遥感图像目标检测方法。

背景技术：

1、遥感图像在国防安全、环境监测、城市规划等领域具有广泛的应用前景。遥感图像目标检测技术一直以来都是遥感领域的研究重点之一。当前主流的基于深度学习的遥感图像目标检测方法主要基于特征提取算子提取由浅到深的多层级特征图，并经过特征融合后进行预测。其中，浅层特征图往往包含丰富的局部纹理细节特征（如颜色、纹理），这些信息有助于模型理解遥感目标的外在表征，进而理解图像内容。而深层特征图往往包含全局语义特征，它包含了与图像中对象和场景相关的高级抽象信息，这些信息涵盖了对象的类别、形状、结构以及它们在环境中的位置和关系，这些信息有助于模型理解遥感目标的深层本质表征，对于正确识别和定位遥感图像中的潜在的目标对象至关重要。因此，精细化的处理浅层特征和深层特征对遥感图像目标检测模型具有重要意义。

2、遥感图像具有成像背景复杂，目标尺度变化剧烈的特性，这使得目标检测任务极具难点和挑战。常规的目标检测模型在特征精细化处理方面不足，无法做到局部纹理特征和全局语义特征的联合建模处理。基于卷积神经网络构建的目标检测模型擅长处理局部特征，对遥感图像局部特征的有效处理能够保证中小型目标的特征表达，而对全局信息以及长距离依赖的上下信息感知能力不足，难以描述遥感图像的空间信息。transformer模型在处理全局信息方面表现出色，擅长于捕获长距离的上下文关系进而形成对目标及背景的相对位置关系感知，进而帮助模型区分目标和背景在特征表达的差异。

3、因此，如何基于transformer模型，对特征图中的局部特征和全局特征联合建模，进而提升模型的多维度特征提取能力，以解决遥感图像的目标尺度变化问题，从而提高目标检测模型的检测性能，是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题，本发明提供一种基于局部全局特征互补感知模块的遥感图像目标检测方法，以至少解决上述背景技术中提到的部分技术问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明提供了一种基于局部全局特征互补感知模块的遥感图像目标检测方法，包括如下步骤：

4、将目标区域的遥感图像输入至训练好的目标检测模型中；所述目标检测模型由骨干网络、特征融合网络和检测头组成；

5、通过所述骨干网络对所述遥感图像进行深层特征提取，获得多张深层特征图；所述骨干网络基于局部-全局特征感知模块优化特征提取网络构建而成；

6、通过所述特征融合网络，对所述多张深层特征图进行融合处理，获得所述遥感图像中潜在对象的多尺度融合特征图；

7、通过所述检测头，对所述多尺度融合特征图进行解耦处理，输出所述遥感图像中潜在对象的位置及类别。

8、进一步地，所述局部-全局特征感知模块优化特征提取网络由多个第一基础卷积模块和多个局部-全局特征互补感知模块堆叠而成；

9、通过所述多个第一基础卷积模块对输入的所述遥感图像进行深层特征提取，获得多张初始特征图；

10、通过所述多个局部-全局特征互补感知模块对所述多张初始特征图进一步进行特征提取，获得多张深层特征图。

11、进一步地，每个所述第一基础卷积模块的实现步骤包括：

12、通过第一卷积算子对输入的遥感图像的通道信息进行逐像素级别计算；

13、通过第一归一化模块将计算后的通道结果归一化到标准区间内；

14、通过第一激活函数对所述遥感图像中潜在对象区域的特征矩阵进行激活和抑制，以区分前景及背景信息。

15、进一步地，每个所述局部-全局特征互补感知模块包括局部特征感知模块和全局特征感知模块；

16、通过所述局部特征感知模块对所述初始特征图进行局部特征提取，获得局部特征图；

17、通过所述全局特征感知模块基于所述局部特征图进行全局特征提取，获得深层特征图。

18、进一步地，所述局部特征感知模块的实现步骤包括：

19、通过第一多层感知机模块对所述初始特征图进行特征提取，获得第一输出特征图；

20、通过深度分离卷积模块对所述第一输出特征图进行局部特征信息提取，获得多维度特征图；

21、通过第二归一化模块对所述多维度特征图进行标准化计算，并通过第二激活函数引入非线性信息，获得第一归一化特征图；

22、通过第一全连接层模块对所述第一归一化特征图的维度进行调整；

23、通过第一特征重塑模块将维度调整后的第一归一化特征图与所述初始特征图进行相加融合，输出局部特征图。

24、进一步地，所述全局特征感知模块的实现步骤包括：

25、通过第三归一化模块对所述局部特征图进行标准化处理，获得标准特征图；

26、通过第二多层感知机模块对所述标准特征图进行特征提取，获得第二输出特征图；

27、分别通过7×7卷积模块、13×13卷积模块和自注意力模块，对所述第二输出特征图进行特征提取，获得对应的第一卷积特征图、第二卷积特征图和自注意特征图；

28、通过第一特征拼接模块对所述第一卷积特征图和所述第二卷积特征图进行拼接处理，获得拼接特征图；

29、通过第四归一化模块对所述拼接特征图进行标准化计算，并通过第三激活函数引入非线性信息，获得第二归一化特征图；

30、通过第二全连接层模块对所述第二归一化特征图的维度进行调整；

31、通过第五归一化模块对所述自注意特征图进行标准化计算，并通过第四激活函数引入非线性信息，获得第三归一化特征图；

32、通过第二特征重塑模块对维度调整后的第二归一化特征图、所述第三归一化特征图以及所述标准特征图进行相加融合，输出深层特征图。

33、进一步地，所述特征融合网络的实现过程包括：

34、从最后一个局部-全局特征互补感知模块开始，向前每隔一个局部-全局特征互补感知模块，提取一次深层特征图；

35、基于每次提取的深层特征图，获得当前次的融合特征图，并将每次的融合特征图发送至所述检测头。

36、进一步地，所述基于每次提取的深层特征图，获得当前次的融合特征图，具体包括：

37、对每次提取的深层特征图进行卷积处理；

38、对每次的融合特征图进行特征重塑处理

39、将每次的卷积结果与上一次特征重塑后的融合特征图进行拼接，作为当前次的特征融合图。

40、进一步地，采用焦点损失和旋转框交并比损失对目标检测模型进行遥感图像目标检测任务训练，表示为：

41、

42、其中，focalloss表示焦点损失，为遥感图像目标检测任务中的分类预测分支；rotatediou表示旋转框交并比损失，用于计算预测框与输入的遥感图像对应的目标真值标签的距离；loss表示遥感图像目标检测任务中的总损失。

43、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于局部全局特征互补感知模块的遥感图像目标检测方法，具有如下有益效果：

44、传统的基于卷积神经网络的目标检测模型大多使用骨干特征提取网络-特征融合网络-特征解耦头结构作为transformer模型基本架构，本发明基于局部-全局特征感知模块优化特征提取网络来构建骨干网络，对特征图中的局部特征和全局特征联合建模，实现在特征提取阶段充分挖掘特征信息中潜在的局部纹理特征以及全局语义特征，有效解决了当前的目标检测方法的多维度特征提取能力不足的问题，提高了目标检测精度；为遥感图像目标检测领域提供了更为可靠和高效的解决方案，为未来的遥感应用领域提供了强大的支持。

45、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

46、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。