一种适用于无人平台的动态小目标识别方法

背景技术：

1、基于视觉的目标识别可对交通枢纽、重要会场和码头港口等重点区域的智慧监控和安全保障提供强有力的技术支撑，是“机器人+人工智能”与应用场景的深度融合。在重要区域采用无人平台进行巡逻警戒和安全保障，对构建新时代公共安全体系具有重要的应用价值和现实意义。

2、在计算机视觉领域，定义占据不超过原始图像帧1％像素的目标为小目标。小目标识别是计算机视觉中较为基础的研究方向，正在被广泛应用于交通枢纽智慧监控、重要会场安全保障和港口码头巡逻警戒等诸多领域，具有重要的研究和应用价值，但其识别过程仍面临诸多挑战，如背景复杂导致目标轮廓不明确、目标占据图像帧像素少导致语义特征提取难度大、目标出现位置不确定导致其难以受到识别算法重点关注等。

3、近年来，基于深度学习的目标识别方法的深入研究进一步推动了环境理解性能的提升，在目标分类等任务上甚至达到或超过了人类识别的精度，因此，许多基于深度学习的目标识别方法被提出。相比于传统方法，基于深度学习的目标识别方法因其更强的准确性和实时性受到了广大研究者的关注。

4、近年来，一系列基于深度学习的小目标识别方法已被提出，例如lin等人在ieeeconference on computer vision and pattern recognition提出使用特征金字塔网络(feature pyramid networks)实现小目标识别，该网络设计了多层神经网络架构，每层神经网络可产生目标的语义特征，且不同神经网络层产生的目标语义特征分辨率不同。通过各个神经网络层间的特征交互，最终生成对小目标的准确语义表达，从而提高小目标识别准确率。实验证明，该方法可得到更出色的小目标识别性能，足以证明深度学习方法在小目标识别方面的确具有优异表现。然而这类方法仍然存在如下缺陷：

5、1、动态小目标占据图像帧像素少，可能出现在图像的任意位置，导致现有方法对其所在区域关注难度大、语义特征不易提取。

6、2、动态小目标处于运动状态时易受到运动模糊影响，其类别和边界框参数获取难，位置判断误差大。

7、3、现有方法难以准确获取处于海面等复杂环境中的小目标轮廓，对这类动态小目标的识别性能不佳，且未专门针对无人平台进行设计。经过相关技术检索发现，目前尚无满足实际无人平台需求的动态小目标识别方法。

技术实现思路

1、为了解决动态小目标识别过程受海洋等复杂场景影响下目标语义特征提取难、识别性能不佳的问题，本发明提出了适用于无人平台的动态小目标识别新方法，该方法通过设计多层特征金字塔网络架构，可生成输入视频图像帧中的小目标不同分辨率语义特征，能够在目标处于海面等复杂环境导致轮廓不清的情况下，对目标进行识别，提高了动态小目标识别的准确率和实时性，且能够部署在实际无人平台上。

2、本发明提供一种适用于无人平台的动态小目标识别方法，该方法包括训练和测试两个阶段，其中，

3、定义占据不超过原始图像帧1％像素的目标为小目标。

4、训练阶段由基于扩展金字塔网络的特征提取模块、基于查询机制的细粒度特征生成模块以及基于稀疏卷积网络的目标识别模块实现。

5、基于扩展金字塔网络的特征提取模块包含基于retinanet的单阶段目标识别子模块、基于初始结构金字塔网络的特征映射生成子模块和基于残差网络的下采样子模块。基于retinanet的单阶段目标识别子模块包含特征金字塔子网络、分类子网络和边界框回归子网络，其中特征金字塔子网络用于生成目标不同分辨率的语义特征，可用于后续目标分类；分类子网络用于目标分类，其前端包含ε个3×3卷积层，每个卷积层含有c个通道和1个基于relu函数的激活模块，后端包含1个3×3卷积层，含有1个基于sigmoid函数的激活模块用于目标类别预测；边界框回归子网络用于目标真实值及其对应边界框偏移量的回归，包含1个全卷积神经网络。基于初始结构金字塔网络的特征映射生成子模块包含l层(分别表示为p1～pl)特征金字塔网络，用于生成目标的可能位置坐标和对应位置的边界框，其中p2层为高分辨率特征金字塔网络，可生成高分辨率目标语义特征。基于残差网络的下采样子模块用于采样目标粗粒度特征，包含1个1×1卷积层。

6、基于查询机制的目标细粒度特征生成模块用于生成待识别目标细粒度特征，该模块基于查询机制从待识别目标粗粒度特征生成包含目标可能位置的热图，从热图中获取存在小目标的位置坐标，根据预定义阈值λ对小目标位置进行查询，并通过查询值确定该位置是否存在待识别的小目标，生成目标细粒度特征。

7、基于稀疏卷积网络的目标识别模块用于匹配待识别目标及其对应的边界框。该模块包含β层的稀疏卷积网络，每层稀疏卷积网络中含有u个输入特征通道数、v个输出特征通道数、大小为f的非平方滤波器，其步长为s。通过该模块激活待识别目标所在位置相邻特征映射，获取目标高度和宽度，并计算该位置中心点与对应边界框四个角点间的距离，根据目标高度和宽度对其进行准确匹配。

8、测试阶段：训练完成后，采用无人平台搭载的基于扩展金字塔网络的特征提取模块，生成目标不同分辨率的边界框，并对其进行回归，得到目标的粗粒度特征；采用基于查询机制的目标细粒度特征生成模块生成目标细粒度特征，通过预定义阈值查询当前图像帧中是否存在待识别目标，并获取存在待识别目标的位置坐标；通过基于稀疏卷积网络的目标识别模块，计算待识别目标所在位置中心点与对应边界框四个角点间的距离，根据该距离匹配目标及其对应的边界框，实现无人平台对动态小目标的识别。该方法包含以下步骤：

9、步骤1：训练数据集准备。

10、步骤2：将训练数据集中的视频输入基于扩展金字塔网络的特征提取模块，定义输入视频的分辨率为h×w，其中h表示视频中图像帧的高度，w表示视频中图像帧的宽度，通过扩展金字塔网络获取待识别目标o的粗粒度特征，定义为：

11、

12、其中l表示扩展金字塔网络的神经网络层数，(h′,w′)设置为xl-2层的目标粗粒度特征可由xl-1层生成。

13、步骤3：将扩展金字塔网络获取的目标粗粒度特征输入基于查询机制的目标细粒度特征生成模块，生成包含目标可能位置的热图，定义为yl∈rh′×w′，yl中包含位置(i,j)可能存在待识别目标o的语义信息。

14、待识别目标o的边界框参数真实值可定义为其中目标o中心点位置坐标的真实值表示为和分别表示目标o宽度和高度的真实值。特征映射层xl上每个位置坐标(m,n)及目标o的中心点位置坐标真实值之间的最小距离映射dl可通过下面的函数计算：

15、

16、基于查询机制生成的特征映射真实值可通过下面的公式计算：

17、

18、其中zl表示特征映射层xl的最小锚框值，可简化计算为特征金字塔网络l层的最小回归值。

19、在基于查询机制的目标细粒度特征生成模块中，定义阈值λ为查询机制的查询值，将待识别目标位置的评价函数值低于λ的查询值定义为ql。此时在特征映射层xl上，被定义为待识别目标o的准确位置，可通过目标o的四个周围语义特征获取，其函数表达式可表示为:

20、

21、其中(i,j)表示可能存在小目标的位置坐标，∨{i,j∈0,1}表示坐标值i和j可设置为0或1中的任意值，目标o的准确位置可用于构建集合{al-1}。

22、步骤4：在基于稀疏卷积网络的目标识别模块中，采用稀疏卷积网络从基于查询机制生成的目标o的位置集合{al-1}中获取下一网络层l的查询值ql。特征映射层xl上的特征值可采用集合{al-1}作为索引，获取稀疏卷积网络的稀疏张量χl-1。

23、采用稀疏卷积网络获取待识别目标o边界框的宽度或高度，定义为：

24、lo＝(li-f+s)/s  (5)

25、其中li表示输入视频图像帧的宽度或高度，f表示非平方滤波器，s表示稀疏卷积网络的步长。

26、步骤5：计算损失函数，其中，整体损失函数表达式更新如下：

27、

28、其中，δl表示基于扩展金字塔网络的特征提取模块中初始结构金字塔网络l层的重平衡超参数，表示l层的损失函数，其函数表达式定义为：

29、

30、其中，cl、sl和ql分别表示稀疏卷积网络产生的识别结果、扩展金字塔网络产生的回归结果和查询机制产生的查询结果，和分别表示上述识别结果、回归结果和查询结果对应的实际特征映射，和分别表示边界框回归损失函数和局部损失函数。通过每层神经网络的损失函数和整体损失函数的更新，实现当前图像帧中小目标o的准确识别。以此类推，遍历训练视频完成。

31、训练完成后，将所提动态小目标识别方法部署在无人平台上，采用无人平台搭载的基于扩展金字塔网络的特征提取模块，生成目标不同分辨率的边界框，并对其进行回归，得到目标的粗粒度特征；采用基于查询机制的目标细粒度特征生成模块生成目标细粒度特征，通过预定义阈值查询当前图像帧中是否存在待识别目标，并获取存在待识别目标的位置坐标；通过基于稀疏卷积网络的目标识别模块，计算待识别目标所在位置中心点与对应边界框四个角点间的距离，根据该距离匹配目标及其对应的边界框，实现无人平台对动态小目标的识别。

32、本发明的有益效果：

33、1、本发明提出了基于扩展特征金字塔网络的特征提取模块，生成动态小目标不同分辨率的语义特征映射，通过扩展特征金字塔网络中各个神经网络层间的特征交互，获取目标准确语义表达，减少动态小目标和对应边界框参数的偏移量；

34、2、本发明设计了基于查询机制的目标细粒度特征生成模块，通过建立动态小目标特征映射与预定义阈值间的查询机制，生成目标高分辨率特征映射，包括目标位置信息和尺度信息；

35、3、本发明构建了基于稀疏卷积网络的目标识别模块，提出了局部损失函数和边界框损失函数，通过训练匹配待识别目标及其对应的特征映射，生成更为准确的目标边界框，实现动态小目标识别，并实现在实际无人平台上的部署。

36、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。