一种轻量化无人机图像目标检测方法及系统

本公开涉及图像检测，具体涉及一种轻量化无人机图像目标检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、无人机作为一种新型遥感平台，已广泛应用于智慧农业、环境监测、交通管理等领域。航空图像中的物体检测是这些应用中的关键组成部分。无人机图像具有更好的视野、更小的空间限制，可以捕获更多的有用信息。其与地面车辆目标检测系统构成空地一体的智慧交通系统，在观测、定位目标路段车辆有着显著的优势。

3、无人机图像是典型的小目标图像，大部分目标所占像素比较小而且比较密集，提取有效特征更有难度，现有检测算法的检测精度还有待提升，且算法轻量化水平不高，对于一些资源受限的边缘设备不够友好，使得算法在无人机平台上难以取得满意的性能。

技术实现思路

1、本公开为了解决上述问题，提出了一种轻量化无人机图像目标检测方法及系统，通过构建轻量化无人机图像目标检测模型，以包含c2fca的主干适应性结构重构网络，以ems-pafpn(enhanced multi-scale path-aggregation feature pyramid network)多尺度深层特征融合网络，充分提取目标特征信息以及融合多尺度目标特征信息，实现无人机图像目标检测更高的检测精度。

2、根据一些实施例，本公开采用如下技术方案：

3、获取无人机实时的视频帧，并进行预处理获得目标信息标注图像；

4、将标注图像输入至无人机图像目标检测模型中，输出实时视频帧中的目标信息；

5、其中，在无人机图像目标检测模型中，利用c2fca重构主干网络在通道和空间上提取不同尺度的目标特征图，将不同尺度的目标特征图输入至增强多尺度特征融合网络中，使特征信息引入自下而上传递的pan结构中，对不同尺度的目标特征图进行融合，获取到空间特征和语义特征，再将空间特征和语义特征进行交叉特征融合，获取融合特征，利用融合特征输出实时视频帧中的目标信息。

6、根据一些实施例，本公开采用如下技术方案：

7、一种轻量化无人机图像目标检测系统，包括：

8、数据获取模块，用于获取无人机实时的视频帧，并进行预处理获得取目标信息标注图像；

9、目标检测模块，用于将标注图像输入至无人机图像目标检测模型中，输出实时视频帧中的目标信息；

10、其中，在无人机图像目标检测模型中，利用c2fca重构主干网络在通道和空间上提取不同尺度的目标特征图，将不同尺度的目标特征图输入至增强多尺度特征融合网络中，使特征信息引入自下而上传递的pan结构中，对不同尺度的目标特征图进行融合，获取到空间特征和语义特征，再将空间特征和语义特征进行交叉特征融合，获取融合特征，利用融合特征输出实时视频帧中的目标信息。

11、根据一些实施例，本公开采用如下技术方案：

12、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的一种轻量化无人机图像目标检测方法。

13、根据一些实施例，本公开采用如下技术方案：

14、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的一种轻量化无人机图像目标检测方法。

15、与现有技术相比，本公开的有益效果为：

16、本公开的一种轻量化图像目标检测方法，通过构建轻量化无人机图像目标检测模型，利用包含c2fca的主干适应性结构重构网络、基于ems-pafpn(enhanced multi-scalepath-aggregation feature pyramid network)的多尺度深层特征融合网络，实现了无人机图像目标检测更高的检测精度、更低的计算量和参数量、更小的模型大小和内存消耗，解决现有无人机图像目标检测算法模型复杂度高、算法性能欠佳、内存占用高的问题，实现了轻量级的高精度无人机图像目标检测，具有更广泛的适用性。

17、本公开的一种轻量化图像目标检测方法，在输出层引入focal eiou损失，focaleiou是一种基于eiou的改进方法，它引入了焦点(focal)和嵌入(embedding)来进一步提高目标检测的准确性。focal eiou损失采用了一种可学习的嵌入函数，并通过在重叠区域和非重叠区域之间引入焦点来加权计算eiou，这种加权使得focal eiou能够更好地关注难以检测的目标框，从而提高检测结果的质量。

技术特征：

1.一种轻量化无人机图像目标检测方法，其特征在于，包括：

2.如权利要求1所述的一种轻量化无人机图像目标检测方法，其特征在于，预处理方式为：对获取的无人机实时视频帧进行抽帧，通过视频抽帧的方式获得包含目标信息的图像，对尺寸进行归一化，再利用标注工具对归一化完成后图像中的目标进行标签标注，获取目标信息标注图像。

3.如权利要求1所述的一种轻量化无人机图像目标检测方法，其特征在于，无人机图像目标检测模型是对yolo v8网络结构进行改进，对主干网络进行重构，重构后的主干网络由基础的卷积模块、c2fca模块和sppf构成，包括：引入注意力机制ca，并与c2f模块组成c2fca模块，在原始结构的第0层之前加一层基础卷积块和第1层之后增加一层c2fca模块并改变前4层的通道数和删除深层低分辨率的主干结构，获得c2fca重构主干网络。

4.如权利要求1所述的一种轻量化无人机图像目标检测方法，其特征在于，增强多尺度特征融合网络为基于fpn和pan网络结构，基于yolo v8网络，删除大尺寸目标的检测头，重构主干结构中的特征信息引入自下而上传递的pan结构中，补充特征丢失和退化，包括：在p2特征层处融合主干中的p1特征层和p3特征层处的特征图，即p1特征层输出经过下采样，p3特征层输出经过上采样后在pan的p2特征层进行拼接；之后经过c2f特征提取后进入下一块结构。

5.如权利要求1所述的一种轻量化无人机图像目标检测方法，其特征在于，在pan结构完成之后，输出多个尺度特征图传入head前再次进行相互的交叉特征融合，进一步融合获得多个不同尺度融合特征图。

6.如权利要求1所述的一种轻量化无人机图像目标检测方法，其特征在于，

7.如权利要求6所述的一种轻量化无人机图像目标检测方法，其特征在于，

8.一种轻量化无人机图像目标检测系统，其特征在于，包括：

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的一种轻量化无人机图像目标检测方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的一种轻量化无人机图像目标检测方法。

技术总结本公开提供了一种轻量化无人机图像目标检测方法及系统，涉及图像检测技术领域，包括：获取无人机实时的视频帧中的目标信息标注图像；将标注图像输入至无人机图像目标检测模型中，输出实时视频帧中的目标信息；其中，在无人机图像目标检测模型中，利用C2fCA重构主干网络在通道和空间上提取不同尺度的目标特征图，将不同尺度的目标特征图输入至增强多尺度特征融合网络中，使特征信息引入自下而上传递的PAN结构中，对不同尺度的目标特征图进行融合，获取到空间特征和语义特征，再将空间特征和语义特征进行交叉特征融合，获取融合特征，利用融合特征输出实时视频帧中的目标信息。本公开提高了目标检测精度，大幅降低了模型大小和内存消耗。技术研发人员：邓立霞,张洪豫,林首君,张洪鲁,董金顺,万大鹏,毕凌云,刘海英,刘立达受保护的技术使用者：齐鲁工业大学（山东省科学院）技术研发日：技术公布日：2024/7/29