改进BIFPN与注意力机制的轻量化小目标检测方法与流程

本发明涉及计算机视觉，特别是涉及改进bifpn与注意力机制的轻量化小目标检测方法。

背景技术：

1、随着智慧城市和智慧工业时代的到来，目标检测智能算法已在工业检测、行为识别、消防安全、交通管理、生物医学等许多行业逐步运用。随着应用场景的不断拓展，对目标检测模型性能的要求不断提高，尤其在小目标检测方面仍面临重要挑战。

2、目前应用于目标检测的算法主要分为两类：单阶段和双阶段目标检测算法。单阶段目标检测算法通常具有速度快、简单易部署和实时性高等优点，经典的单阶段目标检测算法主要包括：yolo(you only look once)系列算法和ssd(single shot detector)系列算法。双阶段目标检测算法具有候选框生成和分类精细调整两个阶段，在目标定位和分类方面能取得更高的精度，更易处理多尺度目标，但两阶段方法常具有复杂度高、部署难度大和不适合高实时性应用的缺点。经典的两阶段目标检测算法主要包括：r-cnn(region withcnnfeature)系列算法和faster r-cnn算法。针对当前工业场景下的实际需求，对目标检测的实时性和快速部署具有更高的要求，因此，单阶段目标检测算法相较于两阶段目标检测算法更具优势。近年来，随着yolo网络的不断发展，许多研究人员基于yolo网络提出应用于不同场景的目标检测模型，但针对煤矿井下工作人员安全帽佩戴的目标检测方法，仍面临算法模型参数量大、推理时间长、错检和漏检率仍不够理想的挑战，此外，由于许多小目标检测的环境复杂和光照条件不佳，导致模型在兼顾轻量化、实时性和高检测精度方面仍面临重要挑战。

3、综上，虽然当前单阶段小目标检测模型已取得较多研究进展，但是仍需对以下两方面问题开展进一步研究。(1)如何有效优化单阶段模型中特征提取网络和特征融合网络，自适应挖掘出更小目标的细节特征的同时有效抑制背景噪声的干扰，实现高检测精度；(2)研究兼顾轻量化、实时性和高检测精度的单阶段目标检测网络。

技术实现思路

1、针对上述问题，本发明改进bifpn与注意力机制的轻量化小目标检测方法，基于ca注意力机制的小目标特征提取网络。为抑制小目标图像中背景噪声的干扰并提取出高表征能力的特征，在二维卷积、c3模块、和空间金字塔池化网络基础上，通过引入ca注意力机制模块实现特征提取过程中对通道、空间和位置信息的关注，构建了特征提取网络；基于bifpn的小目标特征融合强化网络。为有效提取和强化图像中小目标的细节特征，结合浅层与深层特征的优势，在学习高阶语义特征的同时保留低阶特征所表征的丰富细节信息，进而有效提高小目标检测的准确率，为保持理想检测性能的同时减少网络参数和浮点计算量，通过引入ghost卷积与carafe上采样算子，构建获得轻量化的小目标特征融合强化网络。

2、为实现上述目的，本发明提供了如下方案：

3、改进bifpn与注意力机制的轻量化小目标检测方法，包括：

4、获取待检测图像，将所述待检测图像输入改进的小目标检测模型，获取目标检测结果；

5、其中，所述改进的小目标检测模型利用训练集训练获得，所述训练集包括voc数据集和m-helmet自制数据集，所述改进的小目标检测模型通过基于ca注意力机制的小目标特征提取网络模块进行特征提取，基于bifpn的小目标特征融合强化网络模块进行多尺度特征融合，同时利用eiou损失函数优化所述改进的小目标检测模型的目标函数。

6、可选地，所述小目标特征提取网络模块包括：

7、第一conv子模块，用于对所述待检测图像依次进行二维卷积运算、批量归一化处理和silu函数计算，获取特征图t1；

8、第二conv子模块，用于对所述特征图t1依次进行二维卷积运算、批量归一化处理和silu函数计算，获取特征图t2；

9、第一c3子模块，用于对所述特征图t2进行特征提取，获取特征图t3；

10、第三conv子模块，用于对所述特征图t3依次进行二维卷积运算、批量归一化处理和silu函数计算，获取特征图t4；

11、第一cca子模块，用于引入坐标信息，对所述特征图t4进行横向与纵向分解、横纵方向池化计算、特征全连接处理、采用批量归一化和sigmoid函数将特征映射转换成与特征图t4相同的维度的特征图t5；

12、第四conv子模块，用于对所述特征图t5依次进行二维卷积运算、批量归一化处理和silu函数计算，获取特征图t6；

13、第二cca子模块，用于引入坐标信息，对所述特征图t6进行横向与纵向分解、横纵方向池化计算、特征全连接处理、采用批量归一化和sigmoid函数将特征映射转换成与特征图t6相同的维度的特征图t7；

14、第五conv子模块，用于对所述特征图t7依次进行二维卷积运算、批量归一化处理和silu函数计算，获取特征图t8；

15、第二c3子模块，用于对所述特征图t8进行特征提取，获取特征图t9；

16、spp子模块，用于在保持所述特征图t9尺寸不变的情况下，对所述特征图t9进行池化操作，获取所述特征图t10。

17、可选地，所述第一cca子模块包括：

18、第一conv单元，用于对所述特征图t4依次进行二维卷积运算、批量归一化处理和silu函数计算，获取第一特征图；

19、bottleneck和conv堆叠单元，用于降低模型的计算复杂度并提升特征提取能力；

20、第二conv单元，用于对所述第一特征图依次进行二维卷积运算、批量归一化处理和silu函数计算，获取第二特征图；

21、concat单元，用于实现多通道特征信息融合，用于对所述第一特征图和所述第二特征图进行融合，获得第三特征图；

22、ca单元，用于引入坐标信息，对所述第三特征图进行横向与纵向分解、横纵方向池化计算、特征全连接处理、采用批量归一化和sigmoid函数将特征映射转换成与第三特征图相同的维度的特征图t5。

23、可选地，所述小目标特征融合强化网络模块包括：

24、第一ghost卷积子模块，用于对所述特征图t10进行恒等映射，对恒等映射后的特征图t10进行线性变换，将恒等映射后的特征图t10和线性变换后的特征图t10拼接，获取特征图t11；

25、第一carafe上采样子模块，用于利用所述特征图t11预测不同位置的上采样核，将预测到的上采样核和所述特征图t11中对应邻域的像素做点积进行特征重组，获取包含更多语义信息的特征图t12；

26、第一bifpn子模块，用于对所述特征图t12和所述特征图t7进行特征融合，获取特征图t13；

27、第三c3子模块，用于对所述特征图t13进行特征提取，获取特征图t14；

28、第二ghost卷积子模块，用于对所述特征图t14进行恒等映射，对恒等映射后的特征图t14进行线性变换，将恒等映射后的特征图t14和线性变换后的特征图t14拼接，获取特征图t15；

29、第二carafe上采样子模块，用于利用所述特征图t15预测不同位置的上采样核，将预测到的上采样核和所述特征图t15中对应邻域的像素做点积进行特征重组，获取包含更多语义信息的特征图t16；

30、第二bifpn子模块，用于对所述特征图t16和所述特征图t5进行特征融合，获取特征图t17；

31、第四c3子模块，用于对所述特征图t17进行特征提取，获取特征图t18；

32、第三ghost卷积子模块，用于对所述特征图t18进行恒等映射，对恒等映射后的特征图t18进行线性变换，将恒等映射后的特征图t18和线性变换后的特征图t18拼接，获取特征图t19；

33、第三bifpn子模块，用于对所述特征图t19和所述特征图t15进行特征融合，获取特征图t20；

34、第五c3子模块，用于对所述特征图t20进行特征提取，获取特征图t21；

35、第四ghost卷积子模块，用于对所述特征图t21进行恒等映射，对恒等映射后的特征图t21进行线性变换，将恒等映射后的特征图t21和线性变换后的特征图t21拼接，获取特征图t22；

36、第四bifpn子模块，用于对所述特征图t22和所述特征图t11进行特征融合，获取特征图t23；

37、第六c3子模块，用于对所述特征图t23进行特征提取，获取特征图t24。

38、可选地，获取所述特征图t16包括：

39、获取各个像素点在所述特征图t15上的对应位置，以所述对应位置为中心提取预设大小的对应区域，将所述对应区域与上采样卷积核进行运算，获取特征图t16。

40、可选地，获取所述上采样卷积核包括：

41、将所述特征图t15进行1×1的卷积操作，压缩为预设形状的特征图，对所述预设形状的特征图进行卷积计算，获取所述上采样卷积核；

42、对所述预设形状的特征图进行卷积计算的方法为：

43、

44、其中，kencoder为卷积层核尺寸大小，σ为采样倍率，kup为上采样核大小。

45、可选地，进行特征融合的方法为：

46、

47、其中，为bifpn中自上而下路径中第i层的中间特征，conv为卷积操作，w1为中间层第1个特征的学习权重，为第i层的输入特征，w2为中间层第2个特征的学习权重，resize为与分辨率匹配的上采样或下采样操作，为第i+1层的输入特征，ε为用于避免数值不稳定的调节参数，为bifpn中自下而上路径上第i层的输出特征，w1'为输出层第1个特征的学习权重，为第i-1层的输入特征，w'2为输出层第2个特征的学习权重，为bifpn中自上而下路径中第i层的中间特征，w'3为输出层第3个特征的学习权重。

48、可选地，所述改进的小目标检测模型还包括：

49、目标分类与边界框预测模块，用于构建目标预测分支，基于所述目标预测分支对多尺度特征融合后的特征图像进行识别，获取目标检测结果；

50、其中，所述小目标特征提取网络模块、小目标特征融合强化网络模块和所述目标分类与边界框预测模块依次连接。

51、可选地，目标分类与边界框预测模块包括：

52、第一目标分类与边界框预测子模块，构建第一目标预测分支，基于所述第一目标预测分支对所述特征图t18进行识别，获取第一目标检测结果；

53、第二目标分类与边界框预测子模块，构建第二目标预测分支，基于所述第二目标预测分支对所述特征图t21进行识别，获取第二目标检测结果；

54、第三目标分类与边界框预测子模块，构建第三目标预测分支，基于所述第三目标预测分支对所述特征图t24进行识别，获取第三目标检测结果。

55、本发明的有益效果为：

56、本发明基于ca注意力机制的小目标特征提取模块，该网络在二维卷积、c3模块、和空间金字塔池化模块基础上，融合ca注意力机制模块而构成，实现在小目标特征提取过程中融入对通道、空间和位置信息的关注，抑制背景噪声的干扰和增强所提取特征的表达能力。

57、本发明基于bifpn的小目标特征融合强化模块，该网络在c3模块、ghost卷积、carafe上采样算子基础上，融合bifpn，将特征提取网络中浅层与深层特征进行融合强化，在学习高阶语义特征的同时保留低阶特征所表征的丰富细节信息，提高检测准确率；通过使用ghost卷积与carafe上采样算子，实现保持理想检测性能的同时减少网络参数和浮点计算量。

58、本发明的目标分类与边界框预测模块为加快目标检测模型收敛速度并提高目标预测框的回归精度，使用eiou损失函数优化网络原有损失函数。

59、本发明提出的改进bifpn与注意力机制的轻量化小目标检测方法不仅能够实现较高的目标检测精度，还具有实时性好、模型轻量化的优点。