一种基于多尺度特征融合的小目标检测方法和模型

本技术涉及图像处理，具体而言，涉及一种基于多尺度特征融合的小目标检测方法和模型。

背景技术：

1、目标检测是计算机视觉领域中的重要任务，主要分为定位与分类两种任务。小目标检测属于目标检测的子领域，其专注于图像中小目标的检测。小目标一般指在图像中占据相对较少像素的目标物体，其所占像素一般小于32*32。小目标检测被用于许多场所，在自动驾驶领域，小目标检测用于识别和跟踪道路上的小型交通标志、行人、自行车和摩托车等，以提高自动驾驶车辆的感知和决策能力，增强行车安全性；在行人识别与监控系统中，小目标检测可用于人群管理、视频监控、行为分析和安全警报等；此外，小目标检测在无人机应用、遥感目标检测、机器人视觉、医学影像分析和视频内容分析等领域也具有重要的应用。

2、现有的特征金字塔网络（fpn）在多尺度目标检测方面具有良好的效果，但在小目标检测上仍存在不足，这些不足包括：

3、传统fpn在特征融合过程中缺乏有效的信息增强手段，导致对小目标的特征提取效果不佳；

4、传统fpn未充分利用注意力机制来增强特征图的表达能力，导致小目标检测的精度不足；

5、传统fpn的特征图之间的融合策略较为单一，未能充分利用多尺度特征信息进行有效的融合，导致小目标在复杂背景下易被忽略或误检；

6、上述的不足，导致现有的特征金字塔网络在应对小目标检测的复杂性和多样性方面存在明显的局限性，小目标检测的准确性和鲁棒性不佳。

技术实现思路

1、本技术的目的在于提供一种基于多尺度特征融合的小目标检测方法和模型，能够提高小目标检测的精度和鲁棒性。

2、第一方面，本技术提供了一种基于多尺度特征融合的小目标检测模型，包括骨干网络和改进特征金字塔网络；所述改进特征金字塔网络包括尺度调整单元、特征增强和融合单元以及特征图像输出单元；

3、所述骨干网络具有多个特征提取层，所述骨干网络通过多个所述特征提取层逐步地提取输入图像的特征，得到多个不同尺度的初步特征图像，并把多个所述初步特征图像输出至所述尺度调整单元；

4、所述尺度调整单元用于把输入的所述初步特征图像的尺度进行调整，以得到各所述初步特征图像对应的融合前特征图像，所有所述融合前特征图像的通道数相同；

5、所述特征增强和融合单元包括浅层融合模块、中层融合模块和深层融合模块，所述浅层融合模块、所述中层融合模块和所述深层融合模块各自对多个所述融合前特征图像进行特征增强和融合处理，得到融合后特征图像；所述浅层融合模块、所述中层融合模块和所述深层融合模块融合的所述融合前特征图像不完全相同；

6、所述特征图像输出单元用于利用所有所述融合后特征图像生成并输出多个不同尺度的输出特征图像；所述输出特征图像的数量不小于所述融合后特征图像的数量。

7、该模型引入浅层融合模块、中层融合模块和深层融合模块，用以对从输入图像提取的不同尺度的初步特征图像进行特征增强和融合处理，有利于最大化地提取不同层次的特征，以供后续进行目标检测，进而提高小目标检测的精度和鲁棒性。

8、优选地，所述骨干网络为resnet50网络，所述resnet50网络包括从前到后依次连接的第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层；所述第三特征提取层、所述第四特征提取层和所述第五特征提取层的输出端均与所述尺度调整单元连接，以向所述尺度调整单元输出对应的所述初步特征图像。

9、优选地，所述尺度调整单元包括第一卷积块、第二卷积块和第三卷积块；

10、所述第一卷积块的输入端与所述第三特征提取层的输出端连接，所述第一卷积块的输出端与所述中层融合模块和所述深层融合模块的输入端连接；

11、所述第二卷积块的输入端与所述第四特征提取层的输出端连接，所述第二卷积块的输出端与所述浅层融合模块、所述中层融合模块和所述深层融合模块的输入端连接；

12、所述第三卷积块的输入端与所述第五特征提取层的输出端连接，所述第三卷积块的输出端与所述浅层融合模块和所述中层融合模块的输入端连接。

13、通过上述连接结构，有利于浅层融合模块提取更多浅层特征进行融合、有利于中层融合模块提取更多中层特征进行融合以及有利于深层融合模块提取更多深层特征进行融合，从而提高模型对输入图像的浅层特征、中层特征和深层特征的表达能力。

14、优选地，所述特征图像输出单元包括第四卷积块、第五卷积块、第六卷积块、第七卷积块和第八卷积块；

15、所述第四卷积块的输入端与所述深层融合模块的输出端连接，所述第五卷积块的输入端与所述中层融合模块的输出端连接，所述第六卷积块的输入端与所述浅层融合模块的输出端连接，所述第七卷积块的输入端与第六卷积块的输出端连接，所述第八卷积块的输入端与第七卷积块的输出端连接；所述第四卷积块、所述第五卷积块、所述第六卷积块、所述第七卷积块和所述第八卷积块各自用于输出一个所述输出特征图像。

16、通过上述特征图像输出单元可以输出更多尺度的输出特征图像，以供后续进行目标检测，有利于进一步提高小目标检测的精度和鲁棒性。

17、优选地，所述浅层融合模块包括第一se注意力模块、第一卷积注意力模块和第一最大池化层；

18、所述第一se注意力模块的输入端与所述第三卷积块的输出端连接，所述第一卷积注意力模块与所述第一最大池化层前后连接，所述第一卷积注意力模块的输入端与所述第二卷积块的输出端连接，所述第一se注意力模块的输出与所述第一最大池化层的输出进行逐元素相乘后与所述第三卷积块的输出进行逐元素相加，相加结果作为所述浅层融合模块的输出。

19、优选地，所述中层融合模块包括第二se注意力模块、第一亚像素卷积层、第一卷积层、第二卷积注意力模块和第二最大池化层；

20、所述第二se注意力模块和所述第一亚像素卷积层前后连接，所述第二se注意力模块的输入端与所述第三卷积块的输出端连接，所述第一卷积层的输入端与所述第二卷积块的输出端连接，所述第二卷积注意力模块和所述第二最大池化层前后连接，所述第二卷积注意力模块的输入端与所述第一卷积块的输出端连接，所述第一亚像素卷积层的输出、所述第一卷积层的输出、所述第二卷积块的输出和所述第二最大池化层的输出进行逐元素相加，相加结果作为所述中层融合模块的输出。

21、优选地，所述第一卷积注意力模块和所述第二卷积注意力模块均包括第一输入层、通道注意力模块、空间注意力模块和第一输出层；

22、所述第一输入层和所述通道注意力模块前后连接，所述通道注意力模块的输出和所述第一输入层的输出进行逐元素相乘得到第一特征图，所述第一特征图输入所述空间注意力模块，所述空间注意力模块的输出与所述第一特征图逐元素相乘后输入所述第一输出层。

23、优选地，所述深层融合模块包括第二卷积层、第二亚像素卷积层和ce特征增强模块；

24、所述第二卷积层和所述第二亚像素卷积层前后连接，所述第二卷积层的输入端与所述第二卷积块的输出端连接，所述第一卷积块的输出与所述第二亚像素卷积层的输出进行逐元素相加后输入所述ce特征增强模块，所述ce特征增强模块的输出与所述第二亚像素卷积层的输出进行逐元素相加，相加结果作为所述深层融合模块的输出。

25、优选地，所述ce特征增强模块包括从前到后依次连接的第一二维卷积层、第一bn层、relu激活函数层、第二二维卷积层和第二bn层。

26、第二方面，本技术提供了一种基于多尺度特征融合的小目标检测方法，包括步骤：

27、a1.构建初始的基于多尺度特征融合的小目标检测模型；所述初始的基于多尺度特征融合的小目标检测模型为前文所述的基于多尺度特征融合的小目标检测模型；

28、a2.对所述初始的基于多尺度特征融合的小目标检测模型进行训练，得到训练后的基于多尺度特征融合的小目标检测模型；

29、a3.把待识别图像输入所述训练后的基于多尺度特征融合的小目标检测模型，得到所述训练后的基于多尺度特征融合的小目标检测模型输出的多个输出特征图像；

30、a4.利用多个所述输出特征图像进行目标检测。

31、有益效果：本技术提供的基于多尺度特征融合的小目标检测方法和模型，引入浅层融合模块、中层融合模块和深层融合模块，用以对从输入图像提取的不同尺度的初步特征图像进行特征增强和融合处理，有利于最大化地提取不同层次的特征，以供后续进行目标检测，进而提高小目标检测的精度和鲁棒性。