一种基于多维特征聚合增强与分发机制的遥感小目标检测方法

本发明属于计算机视觉，进一步涉及遥感小目标检测技术，具体地说，涉及一种基于多维特征聚合增强与分发机制的遥感小目标检测方法，可用于军事侦察，航空监测等领域。

背景技术：

1、作为一项与计算机视觉相关的有前景的技术，目标检测已经应用于许多场景，如行人检测，遥感图像，自动驾驶和机器人视觉。目标检测一般包括两个子任务，即定位和分类，这表明不仅需要在图像中准确地定位目标所在方位，还需要正确识别它们的类别。尽管通用目标检测器在计算机视觉领域取得了巨大进展，但由于其尺寸有限、外观信息稀少及上下文信息的匮乏，对于遥感图像中小目标的检测仍然是一项困难且具有价值的研究任务。

2、作为通用目标检测的分支，小目标检测被认为是当前目标检测方法面临的重要挑战之一。对于小目标的定义可以从不同的角度进行阐述。例如，小目标的边界框的边长像素应小于32，或认为小目标的边界框面积覆盖被检测的图像面积应不小于1％。由于图像覆盖率较低，外观线索较少，与通用目标检测性能的迅速发展相比，针对小目标的检测往往面临更多的困难，提出的方法相对较少。

3、现有的小目标检测方法一般以通用目标检测器中表现出色的模型为基础，添加针对性的设计。这些模型范式一般由特征提取网络，颈部网络和检测头构成，特征提取网络通过深度卷积神经网络获得图像的高维表征，并利用下采样操作减少空间冗余；颈部网络一般通过特征金字塔等多尺度信息融合方法进行特征增强，最后检测头则在前者得到的图像特征上完成分类和回归。然而此种范式很容易使小目标检测陷入表征瓶颈，一方面是因为小目标的图像特性导致模型很难获得目标区域的良好特征表示。另一方面，再经过卷积神经网络堆叠卷积层和池化层得到图像的高维表征后，在颈部层仅经过有限的信息流融合很难获得有效的判别性特征，从而为小目标带来不可逆的信息损失。无论是缺乏判别性的特征表示，还是目标区域的信息损失，在一定程度上都导致了表征瓶颈，加剧后续分类任务和回归任务的难度。因此突破小目标检测性能的关键之一是如何突破小目标图像的表征瓶颈，在颈部进行有效的信息流融合以此进行特征增强。

4、针对小目标检测存在的特征表示瓶颈，一些工作通过融合多尺度特征的方法来增强表征信息。之前的研究提出，一般深层次特征图更关注高层级的语义信息，而浅层特征图则关于低层级的细节信息。高维表征对后续任务至关重要，但是深度增加导致的空间维度上的信息损失对小目标检测的弊病不可忽视。因此，通过融合不同阶段的特征图以获得兼顾语义信息和细节信息的高效特征表示是合理的。

5、然而之前的工作如fpn，panet等对于多尺度信息的融合方式可能是次优的。fpn通过构建特征金字塔，采取横向连接的方式将自底向上的特征图提取路径和上采样的特征路径单向融合，从而有效地增强了不同尺度的特征信息。在fpn之后，panet提出自底向上的双向特征融合路径，首次证明了双向特征融合的有效性，后续相继出现更复杂的双向融合方法，如asff、bifpn。这些特征增强方法在多尺度的融合方式中优先考虑的是选择相邻的特征图信息进行融合，这可能导致信息增强依赖路径相对复杂，从而限制全局信息流在特征图中的传播。这种特征增强方式所能依赖的特征信息仅有相邻的特征图，而忽略了更浅或更深级别的特征信息，对多尺度特征信息的利用不够彻底。

6、基于以上分析，现有技术需要一种全新的特征融合与增强方法，使模型能够更有效的利用小目标有限的表征信息，从而提升遥感小目标检测能力。

技术实现思路

1、1.发明要解决的技术问题

2、为了克服上述现有技术存在的小目标表征信息交互利用不足的问题；本发明提出了一种基于多维特征聚合增强与分发机制的遥感小目标检测方法；本发明提出了一个多维特征聚合增强与分发模块，用于通过聚合多尺度特征的全局信息流进行融合后再重新分发给局部特征进行特征增强，从而增强遥感图像中小目标各个维度的特征细节，使模型对于小目标的表征信息更具判别性。

3、2.技术方案

4、为达到上述目的，本发明提供的技术方案为：

5、本发明的一种基于多维特征聚合增强与分发机制的遥感小目标检测方法，其步骤为：

6、步骤1、获取遥感小目标图像数据集，并将数据集中的图像进行预处理；

7、步骤2、改进yolov5框架，构建一个多维特征聚合增强与分发网络用于模型训练；

8、步骤3、依据步骤1预处理的数据集来对步骤2构建的网络进行训练，保存训练参数；

9、步骤4、根据学习得到的模型参数，将遥感图像作为网络的输入，得到检测结果。

10、更进一步地，步骤1中制作适合小样本参考视频目标分割任务的数据集的过程为：

11、采用计算机将数据集图片最终大小统一采样为640x640，将数据集50％的图片进行随机翻转，随机选择数据集20％两张图片混合拼凑到一起，使用数据集30％的四张图片对其进行随机裁剪和缩放旋转操作，最后合成1张图像。

12、更进一步地，步骤2中构建的多维特征聚合增强与分发网络，主要分为两个阶段，即通道维度的特征聚合增强与分发阶段，以及空间维度的特征聚合增强与分发阶段，其中空间维度又分为高维空间的特征聚合增强与低维空间的特征聚合增强与分发。

13、更进一步地，步骤2中构建的多维特征聚合增强与分发网络，将预处理后的遥感小目标数据做为输入，然后经过权重共享的yolov5特征提取网络分别提取出四个阶段的特征图{b2，b3，b4，b5}，特征提取网络采用包括顺次连接的多个卷积层、多个残差单元模块和多个bn激活层，之后将{b2，b3，b4，b5}送入通道维度的特征增强与分发网络，分别经过最大池化层和平均池化层以及沿通道维度拼接的操作得到的一张全局通道特征图，然后经过transformer机制和激活层将跨阶段聚合信息得到的注意力权重图按特征提取阶段重新分割为四个通道注意力权重图并通过跨注意力机制与初始特征图{b2，b3，b4，b5}融合信息后获得特征图{p2，p3，p4，p5}，完成通道维度的特征聚合与分发，随后将{p2，p3，p4，p5}送入空间维度的特征聚合增强与分发分支，依次先经过池化层、双线性插值、卷积层以及重参数化卷积层进行低维空间信息聚合后经过交叉注意力分发得到{n2，n3，n4}，再送入高维空间特征聚合增强与分发分支，进行类似的操作后获得最终的目标检测层。

14、更进一步的，步骤2中构建的多维特征聚合增强与分发网络有以下几个部分组成，分别是：通道对齐模块，将{b2，b3，b4，b5}沿通道维度进行拼接对齐；通道信息融合模块，用于融合计算对齐的特征的通道注意力权重；通道信息分发模块，用于将融合后的全局通道注意力权重分发到各个局部特征图中；低维/高维空间对齐模块，将特征图沿空间维度进行拼接对齐；低维/高维空间信息融合模块，用于融合计算对齐的特征的空间注意力权重；低维/高维空间信息分发模块，用于将融合后的全局空间注意力权重分发到各个局部特征图中；

15、更进一步的，步骤2中包含的在通道特征聚合增强与分发的阶段中，在计算通道注意力权重之前，首先使用通道对齐模块将特征图沿通道维度进行对齐，并将空间尺寸下采样为1，具体步骤如下：

16、(1)使用通道对齐模块将骨干网络提取的不同尺度的特征图{b2，b3，b4，b5}沿通道维度进行对齐，分别对bi分别进行平均池化操作(avgpool)与最大池化操作(maxpool)，记为biavg，bimax，通过池化操作下采样特征图并统一宽高使其等于1；

17、(2)将biavg，bimax沿通道维度对齐拼接后，获得通道特征图calign；

18、更进一步的，步骤2中包含的通道信息融合模块将全局特征通道信息进行融合，得到新的多尺度特征图，具体来说，通道信息融合模块包含1x1卷积层，一个transformer架构，sigmoid激活操作，其中transformer包含4层编码器，将calign经过3个1×1的卷积，得到3个不同的向量作为cq，ck，cv送入矩阵计算模块用于计算全局通道注意力权重，然后经过归一化操作以及残差连接，具体的流程用以下公式表示：

19、cq，ck，cv＝3×conv1×1(calign)

20、catt＝calign+mha(cq，ck，cv)

21、cfuse＝catt+mlp(bn(catt))

22、bavg，bmax＝split(cfuse)

23、cfuse＝sigmoid(bavg+bmax)#(1)

24、其中，mha为多头自注意力运算，mlp是多层感知器，split是分割操作，使用1×1的卷积将calign分为cq，ck，cv，最后获得全局通道信息融合增强后特征通道cfuse。

25、更进一步的，在通道信息分发模块中，包括1×1卷积层、矩阵计算模块、激活层：全局特征通道cfuse经过1×1卷积层和sigmoid激活层后，与经过1×1卷积层的局部特征图b一同送进矩阵计算模块用于交叉注意力计算，具体的流程用公式(2)表示：

26、cfuse_i＝aligment(sigmoid(conv1×1(cfuse)))

27、blocal_i＝conv1×1(blocal_i)*cfuse_i+cfuse_i#(2)

28、其中，blocal_i是第i阶段的局部特征图b，aligment是形状对齐操作，sigmoid是激活操作。

29、更进一步的，在低维/高维空间信息对齐模块中，包含平均池化层和双线性插值层，以及一个拼接操作：在低维/高维空间信息对齐模块中，分别以p3/n4为主要参考特征图，将邻近的特征图以平均池化层和双线性插值的操作对齐为p3/n4的形状，最后使用拼接操作将所有特征图沿空间维度拼接为一张特征图。

30、更进一步的，在低维空间信息融合模块中，包含1×1卷积层、一个重参数化卷积块以及一个分割操作：通过搭建3层重参数化卷积块作为主要特征提取与融合网络块，并在前后各增加了一个1x1的卷积增强特征图的跨通道信息整合与交互能力，以及一个分割操作，便于后续空间特征信息的分发，具体流程使用下述公式表示：

31、bfuse_low＝conv1×1(repblock(conv1×1(balign)))

32、bsplit_p2，bsplit_p3，bsplit_p4＝split(bfuse_low)#(3)

33、其中，repblock是重参数化卷积块，split表示分割操作。

34、更进一步的，在高维空间信息融合模块中，包含一个transformer架构，transformer中使用4层的编码器结构以及一个split分割操作：使用多头自注意力机制计算高维空间中全局特征信息的注意力比重，最后使用一个分割操作将融合全局信息的特征图按局部特征图的形状分为{n2，n3，n4}。

35、更进一步的，空间特征分发模块，包含3个1×1卷积层、激活层和一个重参数卷积块：除了将聚合特征信息bfuse_global使用一个1×1卷积层和sigmoid重新激活以外，同时使用一个1×1卷积层将全局信息进行编码处理，随后与经过1×1卷积层的局部特征信息进行交叉注意力操作，最后送入重参数卷积块中，进一步融合增强空间表征信息，用以下公式表示如下：

36、bfuse_act_i＝aligment(sigmoid(conv1×1(bfuse_global)))#(4)

37、bfuse_embed_i＝aligment(conv1×1(bfuse_global))#(5)

38、bfuse_i＝conv1×1(blocal_i)*bfuse_act_i+bfuse_embed_i#(6)

39、blocal_i＝repblock(bfuse_i)#(7)

40、其中，bfuse_global表示融合高维空间信息的全局特征图，bfuse_i表示第i个进行交叉注意力计算的增强特征图，repblock表示重参数卷积块，blocal_i是最终的特征图。

41、3.有益效果

42、采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

43、(1)本发明的一种基于多维特征聚合增强与分发机制的遥感小目标检测方法，考虑到实际场景的需要，无需耗时复杂的推理过程，只需一次训练就可完成对遥感小目标的检测，此方法满足了现实中对实时性的要求。

44、(2)本发明的一种基于多维特征聚合增强与分发机制的遥感小目标检测方法，提出使用多个维度上的特征进行聚合增强特征并分发的机制。本方法利用通道与高维/低维空间维度上的特征信息突破小目标表征瓶颈，并使用自注意力机制避免不相关的特征冗余而聚焦于小目标有限的表征信息，实现维度感知的特征增强方法。

45、(3)本发明的一种基于多维特征聚合增强与分发机制的遥感小目标检测方法，打破固有的特征信息传递路径，通过融合全局特征信息后再分发到各个局部特征图交流的方式，丰富了各阶段特征的语义信息，提升了小目标检测效果。并且在客观定量对比下优于目前先进的方法，在军事侦察和航空监测等领域有着广泛的应用前景。