一种基于细粒度特征的目标检测方法

本发明涉及自动驾驶，尤其涉及一种基于细粒度特征的目标检测方法。

背景技术：

1、目标自动检测是自动驾驶和无人机应用中的核心技术，其能够保障自动驾驶的安全稳定运行以及无人机技术准确的信息情报获取。早期的自动驾驶系统主要依赖传感器收集周围的环境信息，然后使用基于规则的算法进行环境建模、路径规划和车辆控制。然而，这些算法很大程度上依赖于技术人员的主观设定，并且系统相对简单，对复杂环境的适应性有限，而且在处理突发情况时表现不佳。

2、而由无人机早期的普通拍摄平台或者把玩工具发展为侦察、监视等中的骨干力量，也需要目标检测技术的支撑。深度学习和计算机视觉技术的进步推动了自动驾驶和无人机技术的快速发展。目标检测系统可以即时捕捉并分析周围环境的信息，进而感知和理解周围环境，辅助做出准确的决策。

3、很多学者对目标检测技术进行了研究，此类研究方法能够更准确地识别道路上的物体，并提供更丰富的环境信息，有助于改善车辆的决策和行为。然而，该方法需要增加计算复杂度和系统成本，也需要更大的数据集进行训练，且对算法的实时性能要求较高。

4、不断改进的目标检测算法表现出更强大的性能。大量的实验证明分层特征融合和强大的骨干网络对提升目标检测的性能至关重要。在自动驾驶和无人机侦察等任务中，目标检测需要在实时性能下运行，对检测器的速度和准确性提出了较高的要求，以保证车辆和无人机能够及时、准确的做出响应和决策。为此，本文提出了一种用于地面场景的多尺度目标检测模型。

技术实现思路

1、本发明公开一种基于细粒度特征的目标检测方法，旨在解决地面场景中的小目标检测精度低，检测速度慢的技术问题。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种基于细粒度特征的目标检测方法，包括以下具体步骤：

4、s1：网络模型设计：以yolov8s为模板设计一个网络模型，是在保留损失函数，正负样本分配策略等核心设计模块的基础上，使用了更强大的主干网络进行特征提取；

5、s2：下采样模块：在mrt-yolo主干网络的下采样操作中使用spd-conv模块，其中spd-conv模块是由一个空间到深度(spd)层，后面跟着一个非步长卷积(conv)层组成；

6、s3：通道注意力机制：在mrt-yolo算法中引入通道注意机制，整合整个特征图的信息，以计算每个通道的重要性权重，同时将通道注意力加在c2f模块后；

7、s4：主干多尺度特征融合模块：yolov8s在主干网络特征提取之后生成五个特征图，其中{c1,c2,c3,c4,c5}分别代表着不同尺度的物体的特征信息，并在此基础上增加一个由多尺度特征融合模块mfl生成的特征图{c6}；

8、s5：多尺度小目标检测结构：yolov8算法的neck部分融合fpn和pan结构，在原始输入和输出节点之间添加一条额外的边，以在不增加成本的情况下融合更多功能；

9、s6：mrt-yolo网络结构：使用spd-conv模块进行下采样，yolov8中使用了c2f模块进行特征提取，与c3模块相比，多了更多的跨越连接和额外的split操作，同时在c2f模块特征提取之后加入了通道注意力模块，并且算法通过将主干网络提取的特征图{c2,c3,c4,c5层}进行融合形成特征图{c6}，生成的{c6}包含更为丰富的不同尺度的语义信息，用{c6}传入网络进行特征信息交流，在生成特征图{c5}时用到了sppf结构，将spp原来并行的结构改成了串行结构。

10、在一个优选的方案中，所述s2中，具体对于维度为c1×s×s的特征x，首先将x进行等比例的切片，得到四个子特征，这些子特征的维度为c×s/2×s/2，特征图大小变为x的一半，通道数不变，然后将四个子特征沿着各自的通道维度进行拼接得到中间特征x1，中间特征x1的维度为4c1×s/2×s/2，最后将中间特征x1进行一次非步长卷积得到下采样后的输出特征x2，用非步长卷积可以尽可能地保留所有的细粒度特征信息，且x2维度为c2×s/2×s/2。

11、在一个优选的方案中，所述s4中的具体操作为：将原特征图{c2,c3,c4,c5}分别进行下采样操作，将特征图高度和宽度进行统一，默认统一为特征图{c5}的尺寸，方便之后与特征图{c5}进行特征融合，随后将统一后的四个特征图{c2,c3,c4,c5}沿着通道维度进行拼接，拼接之后的特征经过一次卷积操作得到中间特征x，这一步卷积改变了其通道数以降低后续的计算量，特征x将不同尺度的语义信息组合到一起，为了进一步增强不同尺度的物体之间特征的信息交互，将特征x经过n个连续的卷积层，并在每个卷积层中使用silu激活函数，进而生成一个特征堆栈，最后利用特征提取器来学习特征堆栈中的信息；

12、所述s4具体算法如下：

13、

14、

15、其中，xk表示第k个被压入堆栈的特征，x表示组合了不同尺度的语义信息的中间特征，convk和δ分别表示第k个conv层和激活函数。

16、在一个优选的方案中，所述s5中，fpn主要由自下而上和自上而下两个路径组成，自下而上路径由卷积神经网络构成，用于提取来自输入图像的高分辨率特征，自上而下的路径通过上采样或插值操作从高级语义特征中获得更精细但分辨率较低的特征，这样形成了多个尺度的特征金字塔，同时yolov8s算法从骨干网络中获取了底层到高层的特征图{c1,c2,c3,c4,c5}，后通过fpn结构，将{c3,c4,c5}分别与上采样得到的特征进行concat拼接，得到了特征金字塔{p3,p4,p5}，以生成多层次的特征表示，后将fpn生成的特征金字塔输入到pan结构中，其中pan结构通过自下而上的路径和特征聚合机制，进一步优化特征表示。

17、在一个优选的方案中，所述s5中，将前文中提到的特征图{c6}和{c5}进行拼接，c6特征图的大小是20*20，与c5层相同，再将特征图{c2}也加入到特征融合，特征图{c2}的尺寸是160*160，外在网络中添加由底层特征图到高层特征图的横向连接，底层特征图{c3,c4,c5}与经过融合的高层特征图进行拼接。

18、在一个优选的方案中，所述s6中，算法具体为：

19、

20、其中，本算法新增了一个检测头，对应的检测特征图大小为160*160，负责检测4*4以上的目标，它是由骨干网络中提取的底层特征{c2}进行一步步特征融合得到的，除此之外算法还让不同的检测头共享卷积层，同时本算法在网络中增加了一个跨越横向连接，将较浅层的位置信息与深层特征进行融合。

21、在一个优选的方案中，所述s6中，yolov8采用了解耦头结构(decoupled-head)，以将目标分类和识别任务的头部分离，在损失计算过程中，综合考虑以下两个主要方面，具体是：目标识别检测头的损失函数包括ciouloss和distributionfocalloss(dfl)两部分，用于目标分类检测头的损失函数采用bcel(binarycross-entropyloss)，这三种损失按照一定的权重比例进行加权平均，从而得到最终的损失值。

22、在一个优选的方案中，所述s6中的算法如下：

23、loss＝λ2lciou+λ2dfl+λ3bcel

24、

25、其中iou是预测框和真实框之间的交并比，α是权重参数，v用来度量长宽比的相似性，b和bgt是两个框中心点的欧氏距离，c是两个框的最小外接矩形的对角线长度；

26、dfl(si，si+1)＝((yi+1-y)log(si)+(y-yi)log(si+1))

27、其中，dfl损失函数使用交叉熵损失函数，强制网络更专注于正确的标签值，这使得网络的预测概率更集中于标签值附近；

28、

29、其中，n是样本数量，yi是第i个样本的真实标签(0或1)，xi是第i个样本的模型预测值，通常是一个介于0和1之间的概率值。

30、与现有技术相比，本发明提供了一种基于细粒度特征的目标检测方法，具备以下有益效果：

31、1.该一种基于细粒度特征的目标检测方法，通过在主干网络对特征下采样中使用spd-conv模块，使得网络更加敏感于低分辨率图像和小物体；其次，本发明改进了yolov8中的c2f模块，在模块内部加入了通道自注意力，以便有效地进行特征交互和整合；然后，利用提出的mfl模块及改进的bifpn结构，本发明将主干网络中特征图{c2,c3,c4,c5}4融合生成新的特征图{c6}，增加了底层特征和高级特征的跨越连接；最后，设计了一种多尺度小目标检测结构，旨在提高对密集小目标的识别敏感度。

32、2.该一种基于细粒度特征的目标检测方法，通过从中间特征x中提取出更丰富的多尺度特征，然后将融合后的多尺度特征进行拼接，最后经过c2f模块和通道注意力后得到特征图{c6}，特征图{c6}不仅包含不同尺度(如行人和卡车)的语义信息，还包含不同尺度物体之间语义信息上的区别，可以有效地帮助网络区分不同尺度的物体，更精确地确定物体的位置和边界框，提高物体定位的准确性和鲁棒性。

33、3.该一种基于细粒度特征的目标检测方法，通过设计一个对小目标友好的特征融合结构，可提高对小目标检测的准确性同时增强多尺度特征之间的信息流动，更好地处理不同尺度和大小的目标。

34、由上可知，一种基于细粒度特征的目标检测方法，包括以下具体步骤：s1：网络模型设计：以yolov8s为模板设计一个网络模型，是在保留损失函数，正负样本分配策略等核心设计模块的基础上，使用了更强大的主干网络进行特征提取；s2：下采样模块：在mrt-yolo主干网络的下采样操作中使用spd-conv模块，其中spd-conv模块是由一个空间到深度(spd)层，后面跟着一个非步长卷积(conv)层组成；

35、s3：通道注意力机制：在mrt-yolo算法中引入通道注意机制，整合整个特征图的信息，以计算每个通道的重要性权重，同时将通道注意力加在c2f模块后；s4：主干多尺度特征融合模块：yolov8s在主干网络特征提取之后生成五个特征图，其中{c1,c2,c3,c4,c5}分别代表着不同尺度的物体的特征信息，并在此基础上增加一个由多尺度特征融合模块mfl生成的特征图{c6}；s5：多尺度小目标检测结构：yolov8算法的neck部分融合fpn和pan结构，在原始输入和输出节点之间添加一条额外的边，以在不增加成本的情况下融合更多功能；s6：mrt-yolo网络结构：使用spd-conv模块进行下采样，yolov8中使用了c2f模块进行特征提取，与c3模块相比，多了更多的跨越连接和额外的split操作，同时在c2f模块特征提取之后加入了通道注意力模块，并且算法通过将主干网络提取的特征图{c2,c3,c4,c5层}进行融合形成特征图{c6}，生成的{c6}包含更为丰富的不同尺度的语义信息，用{c6}传入网络进行特征信息交流，在生成特征图{c5}时用到了sppf结构，将spp原来并行的结构改成了串行结构。本发明提供的一种基于细粒度特征的目标检测方法具有增强主干网络的特征提取能力，以及提升网络检测小目标的性能的技术效果。