一种复杂场景下无人机小目标的智能检测定位方法及系统

本发明涉及无人机视觉检测定位，更具体的，涉及一种复杂场景下无人机小目标的智能检测定位方法及系统。

背景技术：

1、近年来，无人机因其体积小、成本低以及智能可控等特点广泛运用于民用和军事等领域，特别是军事领域中，无人机已成为常态化打击武器，让低空安全防控面临新的挑战，针对低空安全防控的小目标无人机检测和跟踪，已有较多的神经网络算法模型被提出。然而这些算法大多存在模型参数量大、计算复杂度高等问题，使其难以在资源受限的轻量化嵌入式平台上部署和运行，从而现在限制了无人机检测跟踪在实际场景的使用。

2、目前，基于深度学习的目标检测算法主要划分为一阶段算法与二阶段算法两类。一阶段算法可以通过神经网络计算直接输出目标的类别与位置，代表算法有yolo系列算法、ssd算法、cornernet算法以及querydet算法等。二阶段算法则是将目标检测划分为候选区域生成、分类与边界框调整两个阶段，代表算法为rcnn系列目标检测算法。近年来，yolov5算法凭借其在精度和实时性方面的出色表现广泛应用于目标检测领域，但是在小目标检测方面，由于可用特征少、目标尺度分布不均衡、复杂背景干扰等问题容易导致目标漏检、误检。因此，如何解决无人机小目标检测中因可用特征少、目标尺度分布不均衡、复杂背景干扰而导致的误检与漏检问题是亟需解决的问题。

技术实现思路

1、为了解决上述技术问题，本发明提出了一种复杂场景下无人机小目标的智能检测定位方法及系统，解决真实场景中复杂背景干扰下对于低空、慢速的小目标无人机的精准检测定位，提升对小目标的检测性能。

2、本发明第一方面提供了一种复杂场景下无人机小目标的智能检测定位方法，包括：

3、获取目标无人机视觉感知视频流，将所述视觉感知视频流进行预处理，提取关键帧图像，在所述关键帧图像中分割感兴趣区域；

4、检索获取无人机小目标样本，对样本进行数据增强构建无人机小目标数据集，并对所述无人机小目标数据集中的标签信息进行复核；

5、基于改进的yolov5构建目标检测模型，利用所述无人机小目标数据集进行模型训练，将所述感兴趣区域作为输入信息，通过目标检测头获取小目标特征；

6、在所述目标检测头的分类分支通过帧间差分进行运动检测，根据小目标特征序列筛选运动区域，获取小目标为无人机的判别得分进行识别，在定位分支获取无人机的回归锚框，并通过坐标系转换获取无人机目标三维坐标。

7、本方案中，将所述视觉感知视频流进行预处理，提取关键帧图像，在所述关键帧图像中分割感兴趣区域，具体为：

8、基于目标无人机的单目摄像头获取视觉感知视频流，对视频帧进行预处理，将预处理后的视频帧进行细胞单元划分，根据预设数量的细胞单元组成图像块；

9、获取每个细胞单元的特征梯度，聚合组成图像块的hog特征描述，计算图像块的灰度熵，将所有图像块的hog特征描述及灰度熵进行拼接，得到视频帧的hog复合特征矢量；

10、计算视觉感知视频流中视频帧之间hog复合特征矢量的差值，标记差值大于预设差值阈值的视频帧，利用标记视频帧对所述视觉感知视频流进行分割，获取对应的视频帧集合；

11、在所述视频帧集合中根据平均视频帧间距确定聚类数量，获取各视频帧的信息熵，根据聚类数量基于信息熵排序设置初始聚类中心，计算各视频帧到所述初始聚类中心的帧间距；

12、当满足平均视频帧间距最小时确定聚类中心，否则继续移动聚类中心，直到视频帧集合中不存在相邻视频帧，聚类结束后，根据聚类中心作为关键帧图像；

13、利用无人机轮廓信息在所述关键帧图像中进行全局搜索，根据轮廓相似度确定关键帧图像中的感兴趣区域。

14、本方案中，检索获取无人机小目标样本，对样本进行数据增强构建无人机小目标数据集，具体为：

15、根据历史拍摄数据及开源无人机小目标数据集检索获取无人机小目标样本，将检索获取的无人机小目标样本根据天气条件及背景场景进行聚类，通过聚类结果生成不同复杂场景类别的无人机小目标样本子集；

16、构建数据增强模型对所述无人机小目标自己进行数据增强，在所述无人机小目标样本子集中通过卷积自编码器进行深度特征提取，将符合正态分布的输出导入解码器，所述解码器将低维隐变量逐层放大，得到与原图片尺寸相同的图片；

17、将生成的图片与无人机小目标样本子集中的真实样本进行特征提取和降维，输出图片的真伪标签，利用对抗训练最小化样本误差更新模型参数，通过数据增强模型生成的图片进行无人机小目标样本增强；

18、在增强后的无人机小目标样本子集中，利用卷积块进行样本特征提取，计算点与邻近区域的哈达玛积并将通道数进行压缩，经过激活及归一化处理后获取特征图的类间特征表示，与原始特征图相加得到类增强的特征图，实现无人机小目标样本子集的进一步增强。

19、本方案中，基于改进的yolov5构建目标检测模型，具体为：

20、在yolov5网络中引入自注意力机制与原c3模块进行结合，将不同复杂场景类别的无人机小目标样本子集中的特征图作为输入，对特征图进行通道与空间注意力处理；

21、将处理后的特征图与输入特征图进行融合得到两个输出特征图，利用池化拼接再次融合两个输出特征图得到融合输出特征图，将所述融合输出特征图输入大型可分离卷积注意力模块，进行再次特征提取，通过卷积融合后输出最终输出特征图；

22、将目标检测模型的无人机分类任务及定位任务进行解耦，利用自适应加权后的最终输出特征图分别进行分类分支及定位分支的训练，得到预测目标的类别及预测锚框的位置、置信度，并通过误差反向传播优化目标检测模型。

23、本方案中，将所述感兴趣区域作为输入信息，通过目标检测头获取小目标特征，具体为：

24、将目标无人机视觉感知视频流对应的感兴趣区域导入目标检测模型，获取对应的特征图，将所述特征图利用不同的注意力进行任务自适应及空间自适应；

25、获取任务自适应注意力及空间自适应注意力进行所述特征图的注意力加权，输出自适应加权后的特征图送入目标检测头，在所述目标检测头内利用一维卷积进行降维获取小目标特征。

26、本方案中，在所述目标检测头的分类分支通过帧间差分进行运动检测，根据小目标特征序列筛选运动区域，获取小目标为无人机的判别得分进行识别，具体为：

27、在目标检测头的分类分支中引入帧间差分，根据不同关键帧图像的小目标特征序列获取帧间差分变化，通过所述帧间差分变化进一步筛选出运动区域；

28、使用1*1的卷积进行所述运动区域的分类操作，获取小目标为无人机的判别得分，当所述判别得分大于预设得分阈值，则将目标判定为无人机。

29、本方案中，在定位分支获取无人机的回归锚框，并通过坐标系转换获取无人机目标三维坐标，具体为：

30、在定位分支里中使用1*1的卷积分别进行定位和置信度操作，获取无人机小目标框的锚框和置信度，完成无人机定位，在完成标定后进行深度图像和彩色图像的像素对齐；

31、获得无人机目标对应锚框顶点及中心点在像素坐标系中的位置坐标，将像素坐标系中的坐标转换处理后与摄像头的内参相乘得到无人机目标的相机坐标系，通过相机坐标系与世界坐标系之间的相对关系获得最终的三维坐标。

32、本发明第二方面提供了一种复杂场景下无人机小目标的智能检测定位系统，该系统包括：无人机视觉感知模块、视觉预处理模块、无人机目标检测模块及目标检测定位输出模块；

33、所述无人机视觉感知模块基于单目摄像头获取视觉感知视频流，并将所述视觉感知视频流进行分割；

34、所述视觉预处理模块用稀疏光流法对无人机视觉感知模块进行补充，通过图像预处理提取关键帧图像，在关键帧图像中分割感兴趣区域；

35、所述无人机目标检测模块基于改进的yolov5构建目标检测模型，利用分类分支通过帧间差分进行运动检测，获取检测目标的判别得分进行识别，利用定位分支获取检测的回归锚框进行定位；

36、所述目标检测定位输出模块将检测得到的无人机目标及无人机目标位置在复杂场景内进行可视化标注。

37、与现有技术相比，本发明的有益效果在于：

38、本发明能够更好地实现小目标无人机所在的全局区域的快速搜索，可减少模型计算量，从而提高小目标识别的准确性，高效准确的筛选出无人机所在的区域，提高检测精度。

39、本发明采用轻量化的yolov5s模型进行训练，整体框架需要的计算量和参数较小，可以在算力较低的嵌入式al芯片上进行量化部署，从而快速实现小目标无人机检测定位的实际应用。