一种基于结构优化与特征融合的轻量级网络目标检测方法

本发明涉及计算机应用技术及人工智能领域，具体涉及一种基于结构优化与特征融合的轻量级网络目标检测方法。

背景技术：

1、现有基于深度学习的目标检测算法在智能跟随机器人中应用非常广泛，通过边缘端的深度学习模型快速准确地识别周围的环境，是智能跟随机器人做出正确且高效执行策略的基础。边缘端轻量化的目标检测算法是跟随机器人的关键技术，然而在算力资源有限的设备上，现有深度学习模型的准确性难以保证。因此，开展基于深度学习的轻量化目标检测算法研究，设计参数少、精度高的边缘端目标检测模型，对提高目标检测精度，提升移动跟随机器人的可靠性具有重要意义。

2、现有轻量化目标检测算法主要是通过网络结构设计优化、模型压缩和量化、硬件加速等方式来实现深度模型轻量级化。其中，一阶段目标检测算法使用最为广泛，它能够在保证一定精度的前提下，加快目标检测的速度，实现准确的实时目标检测。如li g提出了一种利用coordconv模块加强普通卷积坐标特征映射的yolov5s的轻量级目标检测模型，通过卷积和多尺度分离，利用hs-block csp共享不同尺度的感受野和不同卷积组的地图特征，提高了目标检测的精度，但是其参数量仍高达800多万不利于边缘计算设备。cui m使用shufflenet作为yolov4tiny的骨干特征提取网络，通过模型压缩技术减少了模型参数量。wang h提出了一种新型的无锚检测网络centernet-auto，在保证检测精度的同时满足检测速度的要求。骨干网使用通过结构重参数化技术转换的repvgg模型。融合不同尺度的特征，在主干加入特征金字塔和可变形卷积检测不同尺度的目标。提出了平均边界模型，支持利用边界特征信息定位目标。wu t h提出yolov5-ghost降低了计算参数量，提升了检测速度，但其检测精度下降太多。然而，现有方法虽能够降低目标检测网络的参数量，但其目标检测精度也随之下降明显。

3、因此，如何设计参数少、精度高的边缘端目标检测模型，成为了需要进一步研究和解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明提供了一种基于结构优化和特征融合的轻量级网络的目标检测方法，利用幻影模块和深度可分离卷积对c2f模块进行优化设计，结合基于空间金字塔池化的思想，利用两个最大池化操作，解决了目标检测算法在边缘端因算力资源受限导致目标检测精度低的问题。

2、为了解决上述技术问题，本发明采用了如下技术方案：

3、一种基于结构优化和特征融合的轻量级网络的目标检测方法，包括如下步骤：

4、获取目标图像数据集；

5、设计轻量化特征提取网络mobilenetv3和优化的c2f模块，并引入注意力机制和新的激活函数h-swish，构建基于结构优化与特征融合的轻量级网络的目标检测模型；

6、利用公开数据集和所述目标图像数据集对所述目标检测模型进行训练和验证，获得训练后的目标检测模型；

7、对待处理的目标图像作为训练后的目标检测模型的输入，对所述待处理的目标图像进行识别和定位，得到待处理的目标图像的目标检测结果。

8、作为优选方案，所述设计轻量化特征提取网络mobilenetv3和优化的c2f模块包括：设计block结构的骨干特征提取网络，设计dg_c2f模块的颈部特征提取网络。

9、作为优选方案，所述目标检测模型包括block结构的骨干特征提取网络、dg_c2f模块结构的颈部特征提取网络和检测头网络；训练后的目标检测模型将输入的目标图像数据集作为骨干特征提取网络的输入，提取得到深层特征图，通过颈部特征提取网络将深层特征图进行处理，提取得到浅层特征图，然后对深层特征图和浅层特征图在颈部特征提取网络中进行多尺度特征融合，以融合生成多尺度的特征图输入至检测头网络，得到目标图像数据集的目标检测结果，作为目标检测模型的输出。

10、作为优选方案，所述骨干特征提取网络包括依次连接的cbs模块、卷积单元、第一深度卷积融合单元、第二深度卷积融合单元和空间金字塔池化模块；

11、其中，cbs模块包括级联的卷积层、批量归一化层和silu激活层；所述卷积单元包括3个级联的block模块；所述第一深度卷积融合单元包括5个级联的seblock模块；所述第二深度卷积融合单元包括4个级联的seblock模块；空间金字塔池化模块包括依次连接的第一cbs模块、3个最大池化层、全连接模块和第二cbs模块，其中，全连接模块用于将第一cbs模块和3个最大池化层的输出均进行拼接后，输出至第二cbs模块。

12、作为优选方案，所述block模块对其输入图像进行1×1升维卷积处理后，再依次通过3×3的深度可分离卷积处理和1×1降维卷积处理后，经过激活函数并与原输入图像进行叠加运算，得到输出特征图；

13、所述seblock模块对其输入图像进行1×1升维卷积处理后，再依次通过3×3的深度可分离卷积处理、注意力机制和1×1降维卷积处理后，经过激活函数并与原输入图像进行叠加运算，得到输出特征图。

14、作为优选方案，所述颈部特征提取网络包括3个上采样特征融合单元和2个连接特征融合单元；所述上采样特征融合单元包括级联的上采样模块、连接层和dg_c2f模块；所述连接特征融合单元包括级联的cbs模块、连接层和dg_c2f模块；

15、其中，骨干特征提取网络的输出作为第一个上采样特征融合单元的输入，且骨干特征提取网络中第一深度卷积融合单元的输出传输至第一个上采样特征融合单元中的连接层进行拼接融合运算，第一个上采样特征融合单元的输出分别传输给第二个上采样特征融合单元的上采样模块和第一个连接特征融合单元的连接层；

16、骨干特征提取网络中卷积单元的输出输至第二个上采样特征融合单元中的连接层进行拼接融合运算，第二个上采样特征融合单元的输出分别传输给第三个上采样特征融合单元的上采样模块、第一个连接特征融合单元的cbs模块以及检测头网络；

17、骨干特征提取网络的卷积单元中第一个block模块的输出与自己通过两次最大池化操作后的特征图均输入至第三个上采样特征融合单元的连接层参与拼接融合运算，第三个上采样特征融合单元的输出直接传输至检测头网络；

18、第一个连接特征融合单元的输出分别传输给第二个连接特征融合单元的cbs模块和检测头网络；

19、骨干特征提取网络的输出还一并传输至第二个连接特征融合单元中的连接层参与拼接融合运算，第二个连接特征融合单元的输出也直接传输至检测头网络。

20、作为优选方案，所述dg_c2f模块的处理过程包括如下步骤：

21、对输入特征图进行深度可分离卷积后，对深度卷积图分别进行两条支路的特征提取，其中一个支路进行切片操作后，将输入特征图分割成两部分，分割后的一部分特征图进入第一个幻影模块，另一部分特征图进入第二个幻影模块；另一个支路中通过两个最大池化操作，得到多尺度的特征图；最后将最大池化操作得到的特征图与幻影模块得到的特征图在连接层进行融合，并通过深度可分离卷积后输出。

22、作为优选方案，对所述目标检测模型进行训练和验证的过程包括：

23、设置目标检测模型的学习率以及超参数，基于预设的输入图片尺寸调整目标图像数据集和公开数据集的缩放；设置迭代次数对目标检测模型进行训练，得到训练后的目标检测模型；最后基于调整后的公开数据集，根据评价指标对训练后的目标检测模型进行验证。

24、与现有技术相比，本发明具有以下技术效果：

25、(1)本发明将传统的瓶颈模块采用更加轻量化的幻影模块以及将普通卷积采用深度可分离卷积对c2f模块进行了优化设计，降低模型的参数量与计算成本；基于空间金字塔池化思想，采用两个最大池化操作，获得更多特征信息，并通过与切片操作后的三个幻影模块得到的特征信息进行特征融合，增强所提模型的特征能力；最后通过一个深度可分离卷积进行输出，从而降低了目标检测模型参数数量，保证了检测的精度。

26、(2)本发明基于结构优化与特征融合的轻量级网络的目标检测模型通过上采样模块得到分辨率更大语义信息和细节信息更大的上采样特征图，并将骨干特征提取网络中具有上采样特征图相同尺寸的特征图通过两次最大池化操作后的特征信息与其融合，最后通过dg_c2f模块进行输出，能够对更小的目标物进行识别，提升目标检测模型的整体检测精度。