一种基于改进YOLOv8算法的面向无人机采集图像小目标检测方法

本公开涉及深度学习目标检测领域，尤其涉及一种基于改进yolov8算法的面向无人机采集图像小目标检测方法。

背景技术：

1、随着无人机技术的快速发展和普及，其在搜索与救援、军事侦察、交通监控、野生动物保护等领域发挥着重要的作用。无人机搭载的高精度传感器和摄像头能够产生大量的图像与视频数据，这些高质量的数据不仅可以用于实时监控，还能够支持复杂的分析任务，这使得目标检测在无人机应用中的重要性日益凸显。

2、目前，基于深度学习的目标检测算法在性能上已经大幅超越了传统方法，根据是否产生候选框，这些算法可以分为单阶段的目标检测和双阶段的目标检测。尽管单阶段目标检测在精度上稍低于双阶段目标检测，但其检测速度更快，这一优势使得它更容易被集成和部署到各种实际应用场景中，适用于无人机图像的实时检测。但无人机视角下的图像小目标具有物体占比高、目标种类数量多尺度变化大、背景环境复杂并且遮挡物较多等特点，导致检测效果并不理想。同时，无人机需要在动态变化的环境中迅速且准确地识别目标，因此对检测精度和速度有很高的要求。

3、综上所述，无人机视角下小目标检测仍存在检测精度低、检测速度慢等问题，但由于无人机计算资源有限、对实时性的高要求，以及需要适应动态变化的环境，在改进目标检测算法时，需要在检测性能和计算复杂度和处理速度之间做出权衡，难以同时实现最优的检测速度和精度。因此，本发明提出一种改进yolov8的无人机图像目标检测算法fa-yolov8，以提升模型的检测性能。

技术实现思路

1、本发明的目的是克服上述背景中的不足，提供一种基于改进yolov8算法的面向无人机采集图像小目标检测方法；该方法通过引入改进carafe上采样算子，提出c2f-pirmb模块，在c2f中的bottleneck部分加入残差结构，同时引入改进的irmb模块，将颈部检测头替换为自适应空间特征融合四头检测头fasffhead，增加极小目标检测层，融合inner-iou和siou两个损失函数，提出inner-siou损失函数，从而增强尺度不变性，聚焦小目标的细节特征，提高无人机图像目标检测性能。

2、本发明解决所述技术问题所采用的技术方案如下：

3、一种基于改进yolov8算法的面向无人机采集图像小目标检测方法，该方法包括以下步骤：

4、s1：获取无人机采集图像数据集；

5、获取无人机采集图像，首先对采集的图像进行尺寸归一化处理，利用标注工具labelme对图像进行人工标注，生成标签图像，得到目标检测数据集。每个数据样本由一张图像和对应的标签图像组成，最后，按照预先设定的比例，将数据集随机划分为训练集和测试集。

6、s2：构建无人机采集图像目标检测模型fa-yolov8；

7、所述fa-yolov8网络为改进的yolov8网络，包括骨干网络backbone、颈部结构neck和预测层head三个部分。fa-yolov8网络的构建过程如下：

8、s2-1：将yolov8的上采样由最近邻插值法替换为carafe上采样算子，carafe包括两个部分：特征内容预测模块和特征重组模块。

9、输入初始的特征图χ，首先将输入特征图经过1×1卷积将通道特征压缩，减少参数量和计算成本，压缩后特征图尺寸为h×w×cm，进行内容编码操作，将压缩后的特征图经过的卷积进行上采样核预测，输出接着将通道维在空间维展开，得到尺寸为的上采样核。使用softmax函数对上采样核进行归一化操作，使卷积核权重和为1。最后在特征重组模块中，将输出特征图中的每个位置映射回输入特征图χ，以l(i，j)为中心取出kup×kup的区域n(χl，kup)，和预测出的该点的上采样核相乘，在同一空间位置，不同特征图通道共享一个上采样核，最后得到尺寸为σh×σw×c的特征图χ′。

10、s2-2：提出c2f-pirmb模块，首先改进backbone层的的c2f模块，为了避免信息的丢失和传播过程中的衰减，设计将c2f-pirmb中的bottleneck组件加入残差结构构成新的结构r-bottleneck，使得网络更深时依然能够有效地训练和学习到更加复杂的特征表示。同时引入改进的反向残余移动块irmb模块，将原有的单个深度可分离卷积dwconv替换为以两个部分卷积pconv构成的双层残差网络，pconv只在输入特征图的一部分上执行卷积操作，而非dwconv中的全面应用，使得pconv通过仅对输入通道的一小部分应用滤波器，同时保持其余通道不变，实现了快速和高效的特性提取，在降低参数量的同时提高运算性能。

11、s2-3：提出fasffhead方法，该方法在yolov8预测层引入自适应空间特征融合asff模块，并增加一个输出尺寸为160×160像素的极小目标检测头，由主干网络中的p2层生成的特征图和颈部网络上采样得到的特征图进行融合形成，将三尺度检测改为四尺度检测，最终获得四个不同层次的特征信息。

12、fasff由恒等缩放和自适应融合两个步骤组成。在恒等缩放阶段，fasff通过对不同层级的特征图进行上采样和下采样，使它们具有相同的尺寸，对于上采样，首先使用1×1卷积将其他层级的通道数与当前层级的通道数保持一致,分别使用插值法提高分辨率，对于下采样，使用步长为2的3×3卷积修改通道数降低分辨率，对于二次下采样，先进行步长为2的最大池化，再使用步长为2的3×3卷积修改通道数。在自适应融合阶段，fasff自适应学习每个特征图的融合权重。

13、s2-4：提出融合inner-iou与siou的损失函数inner-siou。

14、siou不仅考虑了中心点距离、重叠面积和长宽比，还显式地引入了方向性匹配，通过计算预测框与真实框之间的角度差异，重新定义惩罚成本，并将其纳入损失函数中。siou边界损失函数表达式为：

15、

16、基于辅助边框的inner-iou专注于边界框内部的重叠部分，通过引入辅助边界框来计算损失函数，允许对不同的数据集和检测任务进行微调，增强模型的泛化能力。iouinner的计算公式如下：

17、

18、最后使用inner-iou的思想改造siou，inner-siou损失函数公式如下：

19、

20、inner-siou共同考虑了边界框的多个关键属性，从而更加聚焦于小目标的细节特征，使得模型能够更准确地定位小目标，有效减少了误检和漏检的情况。

21、s3：将visdrone2019数据集中的训练集与验证集送入s2中所述的fa-yolov8目标检测模型中进行训练和验证，具体实施步骤如下：

22、(1)实验环境设置

23、实验操作环境为ubuntu 20.04，gpu为nvidia geforce rtx 3090，内存为30g，编译环境为python 3.8.10+pytorch 1.11.0+cuda 11.3；

24、(2)模型训练超参数的设置

25、实验设置批量大小为16，训练轮数为200，初始学习率为0.01，输入图像尺寸为640×640，动量系数为0.937，权重衰减系数为0.0005，优化器为sgd；

26、(3)将训练集送入网络进行训练，得到训练后的模型，利用训练得到的模型进行测试。

27、s4：将visdrone2019数据集中的测试集送入所述s3中带有最优参数的检测模型中进行测试，输出最终的检测结果，并将检测结果与其他方法的检测结果进行对比分析。

28、与现有技术相比，本发明有益效果在于：在特征金字塔网络中使用carafe上采样算子。利用底层内容信息预测重组核，动态地重组特征并调整特征的采样方式，充分保留了特征的语义信息，更好地适应不同场景下的特征变化。backbone层提出c2f-pirmb模块，在c2f中的bottleneck部分加入残差结构使得更有效地训练和学习到更加复杂的特征表示，同时引入改进的反向残余移动块irmb模块，将原有的单个深度可分离卷积dwconv替换为以两个部分卷积pconv构成的双层残差网络，在降低参数量的同时提高运算性能。预测层检测头替换为自适应空间特征融合四头检测头fasffhead，引入自适应空间特征融合asff结构，充分利用不同层级的特征信息，增加小目标检测层，针对小目标进行二次提取，增强尺度不变性。融合inner-iou和siou损失函数，提出改进的损失函数inner-siou，引入辅助边界框并改进边界框回归方法，综合考虑目标的内部细节和整体形状，全面提高小目标检测的准确性。