一种考虑威胁程度的目标自主检测跟踪系统

1.本发明属于单兵装备系统技术领域，具体涉及一种考虑威胁程度的目标自主检测跟踪系统。


背景技术：

2.目前单兵装备系统中的检测跟踪系统，主要是依靠对视场图像检测后随机或根据距离等因素简单地选择跟踪目标或是在检测后手动选择跟踪目标，而不具有目标检测、确定跟踪目标以及控制火力打击装置运动的全流程自主化能力，因此，其智能化水平较低。


技术实现要素：

3.有鉴于此，本发明提供了一种考虑威胁程度的目标自主检测跟踪系统，该目标自主检测跟踪系统能够实时检测视场中的目标，获取目标位置信息，并根据目标的威胁程度不同，自主选择并跟踪威胁程度更高的目标。
4.具体地，本发明采用以下技术方案：
5.一种考虑威胁程度的目标自主检测跟踪系统，所述系统包括火力打击模块、侦察探测模块、检测跟踪模块以及电源模块；
6.所述火力打击模块设置有火力打击装置，用于对目标进行打击；
7.所述侦察探测模块包括设置于所述火力打击装置的侦察探测传感器，所述侦察探测传感器用于采集场景图像，并将所述场景图像传输至所述检测跟踪模块；
8.所述检测跟踪模块用于对所述场景图像依次进行目标检测、目标威胁评估、跟踪目标的确定，并在确定跟踪目标后，生成控制信号控制所述火力打击装置运动，使所述跟踪目标保持在所述侦察探测传感器的视场中心；
9.所述电源模块用于为所述火力打击模块、侦察探测模块、检测跟踪模块供电。
10.进一步地，所述检测跟踪模块利用目标检测算法对所述场景图像进行目标检测，获得候选跟踪目标，并将所述候选跟踪目标用作目标威胁评估的对象。
11.进一步地，所述目标检测算法为yolo-at目标检测算法；
12.所述yolo-at目标检测算法包括特征提取网络、特征增强融合网络与检测网络；
13.所述特征提取网络依次由1个foucus层、4个卷积层、1个残差组件、1个卷积层、1个拼接层、3个卷积层、2个残差组件、1个卷积层、1个拼接层、3个卷积层、4个残差组件、1个卷积层、1个拼接层、2个卷积层组成、1个复制层、1个卷积层、2个残差组件、1个卷积层、1个拼接层、3个卷积层、1个残差组件、1个卷积层、1个拼接层与1个卷积层组成，并在第7个、第9个、第10个残差组件后的卷积层输出特征图像；
14.所述特征增强融合网络为三个bcam注意力模块与三个卷积层构成的卷积神经网络；
15.所述检测网络由decoupled head解耦头组成；
16.所述特征图像先在所述特征增强融合网络进行特征增强以及特征融合，再在所述
检测网络进行目标检测。
17.进一步地，所述yolo-at目标检测算法采用知识蒸馏的方法进行训练。
18.进一步地，所述检测跟踪模块利用火力威胁模型对所述候选跟踪目标的威胁程度进行评估，并将威胁程度最高的所述候选目标设定为所述跟踪目标。
19.进一步地，所述火力威胁模型由6个卷积层、3个池化层以及2个全连接层组成；
20.所述火力威胁模型在数据集构建标注时采用火力威胁模型与人工打分相结合的标注方式。
21.进一步地，所述检测跟踪模块利用算法获得所述跟踪目标在所述侦察探测传感器的视场中的像素坐标后，再计算所述侦察探测传感器与所述跟踪目标之间的相对角度，并使所述相对角度作为所述火力打击装置的运动控制量，使所述跟踪目标保持在所述侦察探测传感器的视场中心。
22.进一步地，所述检测跟踪模块利用triplecar跟踪算法获得所述跟踪目标在所述侦察探测传感器的视场中的像素坐标；
23.所述triplecar跟踪算法的网络结构包括依次连接的输入层、三联特征提取子网络与分类回归子网络；所述三联特征提取子网络由三个具有相同结构的第一卷积网络、第二卷积网络、第三卷积网络构成；所述第一卷积网络用于提取初始帧跟踪目标模板的特征图，所述第二卷积网络用于提取待检测帧图像的特征图，所述第三卷积网络用于提取跟踪目标更新模板的特征图，且在第一帧启动检测时，所述第一卷积网络和所述第三卷积网络的输入均是初始帧跟踪目标模板，之后帧所述第三卷积网络采用上一帧的跟踪结果作为输入。
24.进一步地，所述相对角度包括水平夹角α
t
与竖直夹角β
t
；
25.所述水平夹角α
t
由以下公式计算：
[0026][0027]
所述竖直夹角β
t
由以下公式计算：
[0028][0029]
其中，α为所述侦察探测传感器水平方向视场角；w
pixel
为所述侦察探测传感器水平方向分辨率；x
t
为所述跟踪目标在场景图像中的像素横坐标；β为所述侦察探测传感器水平方向视场角；h
pixel
为所述侦察探测传感器竖直方向分辨率；y
t
为所述跟踪目标在场景图像中的像素纵坐标。
[0030]
进一步地，所述火力打击装置为武器臂；
[0031]
所述武器臂的方位轴关节中的电机在所述检测跟踪模块的控制下可以使所述武器臂转动所述水平夹角α
t
；
[0032]
所述武器臂的俯仰轴关节中的电机在所述检测跟踪模块的控制下可以使所述武器臂转动所述竖直夹角β
t
。
[0033]
有益效果：
[0034]
1、本发明中的考虑威胁程度的目标自主检测跟踪系统，包括火力打击模块、侦察探测模块、检测跟踪模块以及电源模块，其中的检测跟踪模块能够对场景图像依次进行目
通用连接座。
具体实施方式
[0048]
下面结合附图并举实施例，对本发明进行详细描述。
[0049]
一种考虑威胁程度的目标自主检测跟踪系统，该系统包括作为火力打击模块、侦察探测模块、检测跟踪模块以及电源模块，其中：
[0050]
火力打击模块设置有火力打击装置，用于对目标进行打击；
[0051]
侦察探测模块包括设置于火力打击装置的侦察探测传感器，侦察探测传感器用于采集场景图像，并将场景图像传输至检测跟踪模块；
[0052]
检测跟踪模块用于对场景图像依次进行目标检测、目标威胁评估、跟踪目标的确定，并在确定跟踪目标后生成控制信号控制火力打击装置运动，使跟踪目标保持在侦察探测传感器的视场中心；
[0053]
电源模块用于为火力打击模块、侦察探测模块、检测跟踪模块供电。
[0054]
具体地，参照图6与图7，本实施例中火力打击装置为固定有枪械的武器臂1，武器臂1可以为外骨骼士兵、机甲士兵、人形机器兵等提供火力加持，也可以通过武器臂1底部的通用连接座7拓展应用到其他无人作战平台；侦察探测传感器为相机2，侦察探测模块、检测跟踪模块以及电源模块都设置在控制箱3中，控制箱3与武器臂1中的电机驱动器6保持信号连接(用于传递控制信息)以及电连接(用于提供电源)，以使武器臂1中的俯仰关节4与方位轴关节5能够在控制箱的控制下分别发生水平回动与竖直转动(俯仰关节4与方位轴关节5都设置有电机)，当然，控制箱3还与武器臂1上的相机2保持信号连接，以使相机2能够将采集的场景图像传输至检测跟踪模块。图1示出了该考虑威胁程度的目标自主检测跟踪系统的控制策略：武器臂1上的侦察探测传感器采集包含目标的图像作为场景图像，并将该场景图像发送给检测跟踪模块；检测跟踪模块首先利用目标检测算法进行目标检测，得到一系列(至少一个)的候选跟踪目标；之后利用相关算法对候选跟踪目标按照威胁程度排序，并选择威胁程度最高的候选跟踪目标设定为跟踪目标；然后利用跟踪算法实时得到跟踪目标与场景图象中心点偏差的像素点数；最后根据像素-角转换关系，计算侦察探测传感器与跟踪目标之间的相对角度，并使相对角度作为武器臂1的运动控制量，以控制武器臂1中俯仰关节4与方位轴关节5的转动，使跟踪目标始终保持在侦察探测传感器的视场中心，从而实现对跟踪目标的跟踪。
[0055]
在本实施例中，使用的目标检测算法为yolo-at目标检测算法，该算法是利用attention机制对传统的yolo系列算法进行改进得到的，该算法中的t代表tiny，表示是一个轻量化的网络。传统的yolo系列算法具有部署简单、实时性较好等特点，但是其依然存在在嵌入式平台上无法达到实时性要求，以及对于单一类别目标检测结构较为复杂，针对小目标检测准确度不足等问题。yolo-at目标检测算法对yolox网络结构进一步优化，在保证精度的前提下提升了网络的处理速度，得到了实时性的目标检测网络。
[0056]
如图2所示，yolo-at目标检测算法包括特征提取主干网络、特征融合网络和检测网络三个部分。其中，特征提取主干网络依次由1个foucus层、4个卷积层、1个残差组件、1个卷积层、1个拼接层、3个卷积层、2个残差组件、1个卷积层、1个拼接层、3个卷积层、4个残差组件、1个卷积层、1个拼接层、2个卷积层组成、1个复制层、1个卷积层、2个残差组件、1个卷
积层、1个拼接层、3个卷积层、1个残差组件、1个卷积层、1个拼接层与1个卷积层组成；特征增强融合网络由三个bcam注意力模块、三个卷积层构成的卷积神经网络组成；检测网络由decoupled head解耦头组成。并且，特征提取主干网络在第7个、第9个、第10个残差组件后的卷积层输出特征图像，输出的特征图像在特征增强融合网络进行特征增强以及特征融合，最终在检测网络进行目标检测。在yolo-at目标检测算法训练过程中，采用知识蒸馏的方法，利用一个更深层更复杂的网络作为教师网络，指导yolo-at目标检测网络进行学习。在教师网络的指导下yolo-at目标检测算法可以更好地学习负面标签中的有用信息，并避免负面标签中噪声的影响。
[0057]
可以看出，在主干网络部分，yolox算法主干网络有73层卷积层，yolo-at目标检测算法对其精简后的网络只有42层卷积层，这减少了网络的深度，提升了实时性，另外，在特征提取主干网络的图像输入端加入了一个focus层，使得在不损失信息的情况下，起到了下采样的效果，减少了参数量，增大了感受野的范围，也即这个环节在提高实时性的同时，没有影响到精度。而且，在特征融合网络部分，在提取的三个尺度的特征分支上都加入了bcam注意力模块，让算法在空间和通道上都更关注与检测目标有关的有效信息，提高了检测的精度。最后是采用知识蒸馏的方法，用一个更深层结构更复杂的网络的训练结果指导yolo-at模型的训练，让算法能同时学习到负面标签中的有用信息，同时避免负面标签的噪声影响，这个方法只作用于训练过程，所以在不影响检测速率的情况下，也达到了提升检测精度的目的。
[0058]
更具体地，在本实施例中，yolo-at目标检测算法对场景图像进行目标检测时，首先将输入的场景图象调整到800*800标准尺寸大小，然后输入网络进行特征提取。特征提取网络在12*12、25*25、50*50三个尺度上进行特征提取，这保证了对多尺度目标检测的适应性。特征增强提取网络中通过加入cbam模块，在特征图中加入通道注意力特征与空间注意力特征，并通过fan pan卷积网络实现不同特征层的特征融合。特征融合后的三个特征图进入检测网络进行目标检测，解耦检测头将检测任务分解为分类回归、目标预测、定位回归三个分支，分别进行目标框的类别与置信度的预测、判断目标框是目标还是背景、预测目标框的坐标信息。三个特征图经过预测后输出尺度为(s*s)*(a 5)的二维特征向量，其中s为输入的特征图尺寸，a为预测的类别，(s*s)代表预测框的数量。将三个尺度上输出的特征向量进行张量拼接，得到最后的特征向量。在分类回归分支中，yolo-at目标检测算法利用卷积层遍历特征图，并经过逻辑分类器，得到一个大小为(s*s)*a的特征向量，表示特征图上每个点对应的预测类别及预测分数，其中s为输入的特征图尺寸，a为预测的类别，(s*s)代表预测框的数量。在目标预测分支中，yolo-at目标检测算法利用卷积层遍历特征图，并经过逻辑分类器，得到一个大小为(s*s)*1的特征向量，表示特征图上每个点的目标框对应的是目标还是背景，其中s为输入的特征图尺寸，(s*s)代表预测框的数量。在定位回归分支中，yolo-at目标检测算法利用卷积层遍历特征图，直接回归目标边界框的坐标信息(x,y,w,h)，其中x为目标边界框的左上角横坐标，y为目标边界框的左上角纵坐标，w为目标边界框在水平方向上的宽度，h为目标边界框在竖直方向上的高度，最终输出一个大小为(s*s)*4的特征向量，表示特征图上每个点预测的目标边界框的尺寸，其中s为输入的特征图尺寸，(s*s)代表预测框的数量，4是目标边界框的四个坐标。
[0059]
上述的分类回归、目标预测、定位回归这三个分支在训练的时候使用不同的损失
函数，其中，分类回归分支运用知识蒸馏的softloss，如下所示：
[0060][0061]
其中：
[0062][0063][0064]
式中，q表示yolo-at网络输出的预测结果；p表示教师网络输出的预测结果；c表示人工标注的真实值；t表示控制温度，即yolo-at网络在学习过程中对负标签的关注度。
[0065]
目标预测分支运用bceloss，如下所示：
[0066][0067]
式中，n表示样本数量；yn表示此样本是否是目标的真实值；xn表示此样本是否目标的预测值。
[0068]
定位回归分支运用iouloss，如下所示：
[0069][0070]
式中，pred表示预测框；truth表示真实框；inter sec tion(pred,truth)表示预测框与真实框交集的面积；union(pred,truth)表示预测框与真实框并集的面积。
[0071]
整体损失函数如下所示：
[0072]
l＝l
cls
l
obj
l
iou
[0073]
该yolo-at目标检测算法可在小型嵌入式移动平台上保证目标检测准确性的前提下满足实时性要求，解决了传统yolo系列算法在嵌入式平台上无法达到实时性要求，对于单一类别目标检测结构较为复杂，针对小目标检测准确度不足等问题。
[0074]
在本实施例中，检测跟踪模块利用火力威胁模型对候选跟踪目标的威胁程度进行评估，并将威胁程度最高的所述候选跟踪目标设定为所述跟踪目标。
[0075]
具体如图5所示，火力威胁模型采用一个8层的卷积神经网络，其中包含6个卷积层和2个全连接层。其中最后一个全连接层包含100个单元，对应威胁程度为0-99的100个输出。火力威胁模型以yolo-at目标检测网络在场景图像中检测到的候选跟踪目标的图像信息为输入，同一场景图中的多个候选跟踪目标的图像信息依次输入火力威胁模型，得到每个候选跟踪目标对应的威胁程度，最终将威胁程度最高的候选跟踪目标的位置信息和图像信息传递到目标跟踪网络。
[0076]
在本实施例中构建了一个火力威胁图像数据集，对图像中候选跟踪目标的威胁程度进行标注，其中候选跟踪目标的威胁程度由火力威胁模型和人员打分结合而成。并且，在本实施例中，候选跟踪目标设定为士兵，且火力威胁模型是考虑候选跟踪目标所持武器的
毁伤效能、射程、射击准确度、射击密集度、射击精度、火力密度、候选跟踪目标距我方距离以及候选跟踪目标行为的函数。其中，毁伤效能使用毁伤概率函数p
kill
表示，p
kill
是毁伤概率关于打击次数的函数；射程使用s表示；射击精度包含射击密集度和射击准确度，射击准确度用平均弹着点(散布中心)到瞄准点(一般为目标中心)的距离l考量；射击密集度用每个弹着点到平均弹着点的距离考量；射击精度用圆概率误差r
50
表示，r
50
是以瞄准点为中心，包含50％弹着点的圆的半径；火力密度是指每分钟对目标单位面积或一定正面宽度发射的炮弹或子弹的平均数量，比如，步兵武器火力密度取决于以各种枪每分钟对1米正面发射的子弹数m表示；候选跟踪目标距离我方的距离记为d，同时还应当考虑到士兵目标当前的状态与其攻击意图，在函数中将其记为a。候选跟踪目标所持武器的毁伤效能越大、射击精度越高、射程越远、火力越密集对我方目标产生的威胁则越大。例如，在400m距离的士兵目标手持火箭弹对我方的威胁大于手持步枪。人员打分由n名人员以百分制为准，无危胁则为0分，最具威胁则为99分，第i名人员对候选跟踪目标威胁程度记为scorei，将n名人员打分加和取平均值得到人员打分结果。最终，候选跟踪目标的火力威胁ft由火力威胁模型计算结果ft
function
和人员打分结果ft
person
加和取平均得到，如下式所示：
[0077][0078]
ft
function
＝f(p
kill
,s,l,r
50
,m,d,a)
[0079][0080]
在本实施例中，目标跟踪网络利用triplecar(triple classification and regression，三联全卷积分类回归)网络，如图4所示，triplecar网络主要由输入层、特征提取子网络、分类回归子网络组成。其中，输入层用于被跟踪目标初始帧图像、当前帧图像、更新的跟踪目标图像的图像尺寸调整及输入；特征提取子网络具有一个深度方向上的互相关层，用于提取多通道的响应特征图，分类回归子网络是用于边界框预测分类和回归的子网络，用于从多通道的相应特征图中解码被跟踪目标的位置和尺度信息。在输入层中，目标模板被调整为大小为127个像素的方形图像，搜索区域被调整为大小为256个像素的方形图像，调整后的输入图像由后续三联特征提取子网络进行特征提取。三联特征提取子网络由三个具有相同结构的卷积网络1、2、3构成，网络1用于提取初始帧跟踪目标模板的特征图，网络2用于提取待检测帧图像的特征图，网络3用于提取跟踪目标更新模板的特征图。在第一帧启动检测时，网络1和网络3的输入均是初始帧跟踪目标模板，在之后帧采用上一帧的跟踪结果作为网络3的输入，即跟踪目标更新模板。
[0081]
在特征提取阶段，我们用一个9层卷积网络作为特征提取子网络中提取特征的卷积神经网络，特征提取卷积网络结构如下表所示：
[0082][0083]
在此基础上，利用特征提取子网络第6、第9、第12层输出的特征图经过一个深度互相关层进行浅层特征与深层特征的融合，并利用一个256核的1*1卷积对融合的特征进行一次降维处理，以降低参数量，加快计算速度，这次处理后的特征图作为特征提取子网络的最终输出，输入到分类回归子网络中。
[0084]
分类回归子网络包含分类分支和回归分支两个分支，分类回归网络采用无锚机制的方法直接对每个位置的目标边界框进行分类和回归。分类分支用来预测每个位置上目标框的类别，分类分支的输出为一个尺度为w*h*2的目标-背景特征图，其表征了每个搜索区域中相应位置是目标或背景的得分，其中w*h表示特征图的尺寸；以及一个尺度为w*h*1的中心位置特征图，用于抑制离目标中心较远的异常值，其中w*h表示特征图的尺寸。回归分支用来计算目标边界框的尺寸，其输出一个尺度为w*h*4的特征图，其中w*h表示特征图的尺寸，特征图上每一个点包含一个四维向量(l,t,b,r)，其表示从搜索区域中的相应位置到边界框四个边界的距离，若(x0,y0)，(x1,y1)分别依次表示跟踪目标边界框左上角与右下角，(x,y)表示点(i,j)位置上对应的搜索区域中心，则点(i,j)处的四维向量(l,t,b,r)，可由下式计算得到：
[0085]
l＝x-x0[0086]
t＝y-y0[0087]
r＝x
1-x
[0088]
b＝y
1-y
[0089]
分类回归子网络损失函数如下式所示：
[0090]
l
all
＝l
cls
λ1l
cen
λ2l
reg
[0091][0092][0093]
[0094]
式中，n表示样本数量；yn表示此样本是否是目标的真实类别；xn表示此样本是否是目标的预测类别；l,t,b,r计算方法按前述方法计算；表示中心位置特征图中(i,j)点出的数值；当l,t,b,r均大于1时，c＝1，否则c＝0。
[0095]
如图5所示，利用像素-角关系，可以由场景图象中的跟踪目标像素位置(x
t
,y
t
)，得到跟踪目标与武器臂1平台的空间相对角度关系(α
t
,β
t
)，从而实现控制武器臂1平台跟随指向跟踪目标。水平方向上，w为场景图像中场景的实际宽度，w
t
为场景中跟踪目标与相机主轴的水平距离；α
t
为跟踪目标与相机2主轴的水平方向夹角，α为相机2水平方向视场角；w
pixel
为相机2水平方向分辨率；d为待跟踪目标所在平面与相机2的镜头平面距离。据图5，可得方程组如下：
[0096][0097]
再由相机基本原理：
[0098][0099]
可得：
[0100][0101]
其中，x
t
为跟踪目标在场景图像中的像素横坐标。
[0102]
同理，β
t
为跟踪目标与相机2主轴的竖直方向夹角，β为相机竖直方向视场角；h
pixel
为相机竖直方向分辨率，可得下式：
[0103][0104]
其中，y
t
为跟踪目标在场景图像中的像素纵坐标，由上述公式解算得到的α
t
即为武器臂1在方位方向跟踪上目标所需要的控制量，β
t
即为武器臂1在俯仰方向跟踪上目标所需要的控制量。
[0105]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。