一种遥感图像目标检测模型的改进方法

本发明属于遥感图像目标检测，具体涉及一种遥感图像目标检测模型的改进方法。

背景技术：

1、遥感图像，是指利用航空航天设备中的传感器拍摄所获得的图像，通常包括卫星影像、无人机摄影图像，雷达图像等等。使用遥感图像进行目标检测任务，通常可以应用在军事侦测、资源勘探、城市规划和灾害援救等方方面面，是一个热门的研究领域。

2、在遥感图像处理领域的更上一级的计算机视觉领域中，detection transformer(detr)模型是使用transformer架构实现目标检测任务的新途径。而在遥感图像的目标检测领域，使用detr和其派生的模型还未受到太多关注。

3、但是对于遥感图像上的目标检测任务来说，遥感图像具有图像背景信息复杂，图像覆盖范围大等难题，增加了在遥感图像上目标检测的难度。当前遥感目标检测模型通常是使用卷积神经网络(cnn)模块来实现。但是随着transformer架构在自然图像上取得十分优秀的表现，遥感领域也开始关注这个新型架构，transformer中的自注意力模块相比于卷积模块来说，具有更加优秀的学习能力，但是这个自注意力模块相比于卷积模块也需要更多的计算成本。

技术实现思路

1、针对背景技术中提及的由于遥感图像背景信息复杂，覆盖范围大，增加了在遥感图像上目标检测的难度的问题，本发明提出了一种遥感图像目标检测模型的改进方法，针对使用transformer架构的遥感图像目标检测模型的解码器阶段的自注意力模块，使用改进模块取代自注意力模块，可以在不影响模型表现的情况下获得更少的计算成本。

2、技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

3、一种遥感图像目标检测模型的改进方法，包括以下步骤：

4、s1：搭建基于transformer架构下的遥感图像目标检测模型；

5、s2：构建轻量化改进模块；

6、s3：将模型解码器中的自注意力模块替换为轻量化改进模块。

7、作为优选，在s1中，搭建基于transformer架构下的遥感图像目标检测模型的具体内容包括：

8、输入层：将输入的遥感图像进行初步的特征提取，并压缩得到对应的特征图像；

9、编码器：编码器由多个编码层构成；每个编码层由一个自注意力模块、全连接模块组成；输入图像通过编码器后，会从一张二维特征图像变为由一维特征向量组成的特征序列；

10、解码器：解码器由多个解码层构成，每个解码层由一个自注意力模块、交叉注意力模块和全连接模块组成；解码器利用编码层提取出来的特征序列做特征解码，不断地迭代学习目标候选框所对应的空间位置和类别；

11、输出层：包括两个全连接模块，一个全连接模块用于输出目标候选框的空间位置，另一个全连接模块用于输出候选框中包含的目标的类别。

12、作为优选，在s2中，构建轻量化改进模块的具体内容为：

13、，

14、其中，eca是一个通道注意力模块，用来做不同维度间的信息交换；fc1是全连接模块，用来将输入数据的维度d扩展到2×d，fc2是全连接模块，用来将输入数据的维度从2×d还原到d；gelu是神经网络的激活函数，x是解码层输入的形状为n×d的一维向量序列；block是弱注意力子模块。

15、作为优选，弱注意力子模块的计算公式如下：

16、，

17、其中，conv1是一个二维卷积模块，用来将扩展后的维度2×d通过卷积降维为d；pwc是一个逐点卷积模块，使数据在同一位置上不同维度之间做信息交换；gelu是神经网络的激活函数；conv2是一个二维卷积模块，用来将维度从d还原回2×d；dwc是一个逐通道卷积模块，将同一维度、不同位置的数据做信息交换。

18、作为优选，在s2中，构建的轻量化改进模块的计算复杂度的具体内容包括：

19、首先，在解码层中输入n个维度为d的一维向量组成的序列，该一维向量序列在通过解码器的所有解码层后，被输入到最后的输出层模块，从而得到候选目标空间位置和类别；

20、1）计算一维向量序列数据通过全连接模块fc1的计算复杂度；

21、2）计算一维向量序列通过gelu激活函数的计算复杂度；

22、3）计算一维向量序列通过弱注意力子模块的计算复杂度；

23、4）计算一维向量序列通过全连接模块fc2的计算复杂度；

24、5）计算一维向量序列通过通道注意力模块的计算复杂度。

25、作为优选，计算一维向量序列数据通过全连接模块fc1的计算复杂度的具体内容为：

26、单个一维向量数据对于全连接模块的计算量取决于输入数据的维度d和输出的维度2×d，其计算复杂度表示为o(2×d×d)，n个一维向量数据的计算复杂度为o(2×n×d×d)；fc1的计算复杂度为o(d×d×n)；

27、计算一维向量序列通过gelu激活函数的计算复杂度的具体内容为：

28、gelu激活函数的计算复杂度为o(n×d)；

29、计算一维向量序列通过弱注意力子模块的计算复杂度的具体内容为：

30、弱注意力子模块中，两个二维卷积模块conv1和conv2的计算复杂度都为o(n×d×d)，一个gelu激活函数的计算复杂度为o(n×d)，pwc和dwc的计算复杂度都为o(n×d×d)；弱注意力子模块的计算复杂度为o(n×d×d)；

31、计算一维向量序列通过全连接模块fc2的计算复杂度的具体内容为：

32、全连接模块fc2的计算复杂度为o(d×d×n)；

33、计算一维向量序列通过通道注意力模块的计算复杂度的具体内容为：

34、通道注意力模块的计算复杂度为o(n×d+d×d)；

35、轻量化改进模块总的计算复杂度表示为o(n×d×d)的计算量级。

36、作为优选，在s3中，将模型解码器中的自注意力模块替换为轻量化改进模块的具体内容包括：

37、在最终的模型组成中，使用构建好的轻量化改进模块分别替换模型解码器中第二个和第三个解码层中的自注意力模块。

38、一种遥感图像目标检测模型的改进方法的应用，将上述所述的遥感图像目标检测模型的改进方法应用于遥感图像目标检测中。

39、有益效果：与现有技术相比，本发明具有以下优点：

40、（1）本发明是基于transformer架构下的遥感目标检测神经网络模型的改进，通过构建轻量化改进模块取代基于transformer架构的遥感目标检测模型中的解码层中的部分自注意力模块，且随着输入的遥感图像越大，所带来的计算成本降低效果越好。

41、（2）遥感图像的数据规模十分巨大，改进自注意力模块可以降低基于transformer架构的遥感目标检测模型的计算成本，可以为有关部门的大规模遥感图像目标检测任务提供便利；而且本发明轻量化改进模块通常在降低计算成本的同时不会降低模型的目标检测表现。