基于轻量神经网络的行人目标跟踪方法

本发明涉及计算机视觉，具体涉及基于轻量神经网络的行人目标跟踪方法。

背景技术：

1、视频监控中的行人目标跟踪作为计算机视觉领域的重要研究方向之一，在智能监控、自动驾驶、智能交通等领域具有广泛的应用前景。传统的目标跟踪方法主要依赖于手工设计的特征和模型，这些方法通常需要大量的人工操作，并且对目标的外观变化和环境变化较为敏感。随着深度学习技术的发展，基于深度学习的目标跟踪方法逐渐成为研究热点，取得了许多重要进展。

2、在行人目标跟踪中除了会出现运动模糊，尺度变换和平面外旋转等情况外，因受到活动范围的限制，出现静态或动态障碍物而导致目标被遮挡，使目标消失在测视线中。对于传统的神经网络当目标的大部分信息被遮挡时，只剩下边缘特征，此时不能有效的识别和跟踪行人，神经网络难以理解图像中目标的真实含义和位置，如果遮挡物存在干扰或误导信息时，神经网络很可能错误的将遮挡物识别为目标，从而导致跟踪失败。

技术实现思路

1、本发明提供基于轻量神经网络的行人目标跟踪方法，以解决现有的问题。

2、本发明的基于轻量神经网络的行人目标跟踪方法采用如下技术方案：

3、本发明提出了基于轻量神经网络的行人目标跟踪方法，该方法包括以下步骤：

4、获取监控视频中每一帧中的若干行人区域；

5、根据每一个行人区域的每一帧中的像素点的八邻域灰度特征、像素点的区域位置特征以及像素点的灰度分布特征，得到每一个行人区域的相邻帧图像中像素点间的匹配程度；根据每一个行人区域的相邻帧图像中像素点的匹配程度，得到每一个行人区域在每帧图像中每个像素点的光流匹配点及光流向量；对每一个行人区域在每帧图像中像素点的光流匹配点进行聚类，得到若干聚类簇；

6、根据每个行人区域在每帧中聚类簇的面积以及聚类簇中光流匹配点的光流向量，得到每个行人区域中每帧的运动距离和运动方向；根据每个行人区域中每帧的运动距离和方向，得到每个行人区域中每一帧的下一帧的预测位置；

7、根据每个行人区域中每帧的光流匹配点数量，得到每个行人区域中每帧的光流点减少程度，进而得到每个行人区域的若干待优化帧；基于待优化帧的光流点减少程度，得到每个待优化帧降低后的相似度阈值，进而得到优化后光流点及优化后聚类簇；根据优化后聚类簇中优化后光流点的光流向量以及行人区域中每帧的运动距离和运动方向，得到每个行人区域中每个待优化帧中优化后聚类簇的优化程度，进而得到每个行人区域中待优化帧的预测结果准确性；

8、基于行人区域中待优化帧的预测结果准确性，结合行人区域中每一帧的下一帧的预测位置，构建光流场匹配模型并对行人区域进行跟踪。

9、进一步地，所述根据每一个行人区域的每一帧中的像素点的八邻域灰度特征、像素点的区域位置特征以及像素点的灰度分布特征，得到每一个行人区域的相邻帧图像中像素点间的匹配程度，对应的具体计算公式为：

10、通过光流法得到每个行人区域在相邻下一帧对应的行人区域；

11、

12、其中，表示第i个行人区域中第t帧中第v个像素点与第t+1帧中第m个像素点的匹配程度；gi,t,v表示第i个行人区域中第t帧中第v个像素点的八邻域灰度均值；gi,t+1,m表示第i个行人区域中第t+1帧中第m个像素点的八邻域灰度均值；wi,t,v表示第i个行人区域中第t帧中第v个像素点与图像左下角像素点的欧式距离；wi,t+1,m表示第i个行人区域中第t+1帧中第m个像素点与图像左下角像素点的欧式距离；si,t,v表示第i个行人区域中第t帧中第v个像素点的灰度值在第t帧图像上出现过的次数；si,t+1,m表示第i个行人区域中第t+1帧中第m个像素点的灰度值在第t+1帧图像上出现过的次数；max()表示最大值函数；‖x‖表示向量x的欧几里得范数，x为欧几里得范数的输入。

13、进一步地，所述根据每一个行人区域的相邻帧图像中像素点的匹配程度，得到每一个行人区域在每帧图像中每个像素点的光流匹配点及光流向量，包括的具体步骤如下：

14、将任意一个像素点在下一帧图像中对应匹配程度最高的像素点记为该像素点的初步光流匹配点；

15、将所有的初步光流匹配点中，大于相似度阈值的初步光流匹配点，记为对应像素点的光流匹配点；

16、将每个行人区域中每一帧中的每一个有光流匹配点的像素点与对应光流匹配点的位置变化记为该光流匹配点的光流向量。

17、进一步地，所述根据每个行人区域在每帧中聚类簇的面积以及聚类簇中光流匹配点的光流向量，得到每个行人区域中每帧的运动距离和运动方向，包括的具体步骤如下：

18、根据每个行人区域在每帧中聚类簇的面积以及聚类簇中光流匹配点的光流向量的模长，得到每个行人区域中每帧的运动距离，对应的具体计算公式为：

19、

20、其中，li,t表示第i个行人区域中第t帧的运动距离；ni,t表示第i个行人区域中第t帧中聚类簇的数量；si,t,n表示第i个行人区域中第t帧中第n个聚类簇的面积，si,t表示第i个行人区域中第t帧的面积，s2l,i,t,n表示第i个行人区域中第t帧中第n个聚类簇中光流匹配点的光流向量的模长的方差，μl,i,t,n表示第i个行人区域中第t帧中第n个聚类簇中光流匹配点的光流向量的模长均值；

21、根据每个行人区域在每帧中聚类簇的面积以及聚类簇中光流匹配点的光流向量的方向，得到每个行人区域中每帧的运动方向，对应的具体计算公式为：

22、

23、其中，vi,t表示第i个行人区域中第t帧的运动方向；ni,t表示第i个行人区域中第t帧中聚类簇的数量；si,t,n表示第i个行人区域中第t帧中第n个聚类簇的面积，si,t表示第i个行人区域中第t帧的面积，s2v,i,t,n表示第i个行人区域中第t帧中第n个聚类簇中光流匹配点的光流向量方向的方差，μv,i,t,n表示第i个行人区域中第t帧中第n个聚类簇中光流匹配点的光流向量方向均值。

24、进一步地，所述根据每个行人区域中每帧的运动距离和方向，得到每个行人区域中每一帧的下一帧的预测位置，包括的具体步骤如下：

25、将每个行人区域中每帧的运动距离和运动方向，作为每个行人区域中每一帧的下一帧的运动距离和运动方向，得到每个行人区域中每一帧的下一帧中每个行人区域的预测位置。

26、进一步地，所述根据每个行人区域中每帧的光流匹配点数量，得到每个行人区域中每帧的光流点减少程度，进而得到每个行人区域的若干待优化帧，包括的具体步骤如下：

27、获取每个行人区域中每帧的光流匹配点数量；

28、将任意一个行人区域每一帧的光流匹配点数量与上一帧的光流匹配点数量的比值，记为该行人区域中每帧的光流点减少程度；

29、当任一行人区域中任一帧的光流点减少程度小于第一阈值时，将该帧记为该行人区域中的待优化帧。

30、进一步地，所述基于待优化帧的光流点减少程度，得到每个待优化帧降低后的相似度阈值，进而得到优化后光流点及优化后聚类簇，包括的具体步骤如下：

31、对于任一行人区域中任一待优化帧，计算0.5加上所述待优化帧的光流点减少程度的和值，将相似度阈值与所述和值的乘积，记为所述待优化帧降低后的相似度阈值；

32、根据每个待优化帧降低后的相似度阈值，得到每个待优化帧的若干优化后光流点；

33、根据mean shift聚类算法对任一待优化帧的优化后光流点进行聚类，得到若干类簇，获取类簇内部光流点数量最多的区域，记为该待优化帧的优化后聚类簇。

34、进一步地，所述根据优化后聚类簇中优化后光流点的光流向量以及行人区域中每帧的运动距离和运动方向，得到每个行人区域中每个待优化帧中优化后聚类簇的优化程度，包括的具体步骤如下：

35、基于行人区域中每帧的运动距离和运动方向，得到行人区域中每帧的预测向量；

36、根据每个行人区域中待优化帧中优化后聚类簇中优化后光流点的数量、每个优化后光流点的光流向量和预测向量，得到每个行人区域中每个待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度；

37、根据每个行人区域中待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度，得到每个行人区域中每个待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度的欧式范数；

38、对所有行人区域中所有待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度的欧式范数进行线性归一化，得到的结果作为每个行人区域中每个待优化帧中优化后聚类簇的优化程度。

39、进一步地，所述根据每个行人区域中待优化帧中优化后聚类簇中优化后光流点的数量、每个优化后光流点的光流向量和预测向量，得到每个行人区域中每个待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度，包括的具体步骤如下：

40、根据每个行人区域中待优化帧中优化后聚类簇中优化后光流点的数量、每个优化后光流点的光流向量的模长和预测向量的运动距离，得到优化后聚类簇的光流向量的运动距离与预测向量的运动距离的差异程度，对应的具体计算公式为：

41、

42、其中，ρl,i,t表示对于第i个行人区域中第t帧中优化后聚类簇的光流向量的运动距离与预测向量的运动距离的差异程度，n′i,t表示第i个行人区域中第t帧中优化后聚类簇中优化后光流点的数量，li,t,n表示第i个行人区域中第t帧中优化后聚类簇中第n个优化后光流点的光流向量的模长，li,t表示第i个行人区域中第t帧的预测向量的运动距离；

43、根据每个行人区域中待优化帧中优化后聚类簇中优化后光流点的数量、每个优化后光流点的光流向量的方向和预测向量的运动方向，得到优化后聚类簇的光流向量的运动方向与预测向量的运动方向的差异程度，对应的具体计算公式为：

44、

45、其中，ρv,i,t表示第i个行人区域中第t帧中优化后聚类簇的光流向量的运动方向与预测向量的运动方向的差异程度，n′i,t表示第i个行人区域中第t帧中优化后聚类簇中优化后光流点的数量，vi,t,n表示第i个行人区域中第t帧中优化后聚类簇中第n个优化后光流点的光流向量的方向，vi,t表示第i个行人区域中第t帧的预测向量的运动方向。

46、进一步地，所述根据每个行人区域中待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度，得到每个行人区域中每个待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度的欧式范数，包括的具体步骤如下：

47、将任一行人区域中任一待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度的平方和的开平方，记为所述待优化帧中优化后聚类簇的光流向量与预测向量之间运动距离和运动方向的差异程度的欧式范数。

48、本发明的技术方案的有益效果是：

49、本发明在对监控视频中的行人进行跟踪时，由于视频中行人会由于各种原因导致其被遮挡，导致跟踪失败，当行人重新出现时需要再次对其继续跟踪，此时需要消耗较多的时间对其重新匹配，因此需要对行人区域进行预测，通过对每一个行人区域的每一帧的中的像素点进行分析，可得每一个行人区域的相邻帧图像中像素点间的匹配程度，进而得到每一个行人区域在每帧图像中每个像素点的光流匹配点及光流向量；通过每一个行人区域在每帧图像中像素点的光流匹配点进行聚类，得到若干聚类簇，以便更准确的得到每个行人区域中每一帧的下一帧的预测位置；接着通过每个行人区域中每帧的光流匹配点数量，得到每个行人区域的若干待优化帧，并根据待优化帧的光流点减少程度，进一步得到优化后光流点及优化后聚类簇，通过优化后聚类簇中优化后光流点的光流向量以及行人区域中每帧的运动距离和运动方向，得到每个行人区域中待优化帧的预测结果准确性；通过行人区域中待优化帧的预测结果准确性，结合行人区域中每一帧的下一帧的预测位置，达到对行人区域更准确的持续跟踪的效果。