跨镜头轨迹追踪方法、系统、设备及存储介质与流程

本公开涉及人工智能视觉识别，具体涉及一种跨镜头轨迹追踪方法，一种跨镜头轨迹追踪系统，一种电子设备以及一种计算机可读存储介质。

背景技术：

1、跨镜头多行人轨迹跟踪是智能视觉监控领域中一个重要且具有挑战性的问题。随着摄像头数量的不断增加，大量视频流接入监控管理中心，传统基于人工方式的跨镜头多行人跟踪方法，在时效性、准确性、人工成本等问题上已不能满足实际场景需求，为此迫切希望通过一种智能处理算法，自动进行跨镜头多行人的实时目标跟踪及轨迹分析，以提高视频监控流程的工作效率。因此，一种高效的跨镜头多行人轨迹追踪系统目前已成为智能监控领域中的重点研究方向。

2、目前已有大量关于单镜头多行人轨迹跟踪的学术研究工作，极大促进了智能视频监控领域的发展，但在多摄像机场景下多目标追踪仍有待探索。事实上，由于单个摄像机的视野范围有限，仅用一台摄像机很难在大范围内观察到目标的完整轨迹。在人流密集、警戒等安防等级较高的区域，例如厂区、学校、军事区等，往往需要部署多个摄像头进行无死角监控，因此跨镜头多目标跟踪更符合现实场景需求。跨镜头多行人轨迹跟踪系统专注于将不同摄像机之间属于同一个人的轨迹关联起来，并生成该行人完整的全局轨迹。而多个摄像头之间的位置分布关系可分为两类：具有重叠视野和不具有重叠视野。具有重叠视场的跨摄像头行人轨迹关联相对简单，识别准确率较高。而由于开放的视角盲区，导致行人消失时存在诸多的不确定性，因此非重叠相机之间的相机间轨迹关联较为复杂。

3、目前的跨镜头多行人跟踪需要依赖单镜头多目标跟踪算法，大多需要通过卡尔曼滤波建立目标在镜头画面中的运动模型，并加入行人的外观特征联合进行跟踪(如专利cn115760921a、专利cn 116645402a)，这些专利先对行人进行检测，再对检测框的像素位置进行卡尔曼滤波分析。由于不同镜头之间的像素位置没有明确关联，因此此类方法无法拓展至多个镜头的场景。

4、在多摄像头的场景下，由于行人在不同镜头画面的时空位移信息难以利用，许多跨镜头多行人跟踪算法不再使用跨镜头的位移信息进行追踪。以专利cn 112200841a为例，其在单镜头多目标跟踪算法的基础上，提取每个镜头下每个行人轨迹的体态序列融合特征，将其与其它摄像头下的行人特征进行对比和标定，以实现跨摄像头场景下的多行人跟踪。然而，受光照条件、画面清晰度、外观等条件的影响，同一个行人在不同镜头下的外貌特征可能存在较大差异，进而影响这些跨镜头跟踪系统的性能表现。

5、此外也有部分算法使用了行人位置信息，如专利cn

6、114972445a通过分析人脸信息、外表特征(该特征由深度神经网络如osnet、resnet50等将行人图像编码为特征序列，也被称为reid(person re-identification，行人重识别)特征)，以及位置映射信息，并将三者结合实现跨镜头轨迹追踪。该类方法由于使用静态地图坐标的相似度进行行人重识别任务，因此仅适用于多个镜头能同时捕捉到同一行人的场景，无法拓展到无视野重叠的多镜头场景，此外这些方法使用行人检测框的像素位置进行全局地图坐标估计，在行人姿态变换时(如下蹲、弯腰、就坐)或行人部分图像被遮挡时，该行人检测框发生显著变化，从而会导致全局地图坐标的估计过程产生大量误差。

技术实现思路

1、为了至少解决现有技术中存在的在多个镜头，且镜头间无重叠区域的场景下，行人位置信息无法被用于行人轨迹分析，行人检测框代表行人当前位置容易对行人的动态追踪产生明显偏差的问题，本公开提供一种跨镜头轨迹追踪方法、跨镜头轨迹追踪系统、电子设备以及计算机可读存储介质，能够在提高跟踪系统准确率的基础上，提高算法的健壮性，综合提升行人的跨镜头跟踪能力。

2、第一方面，本公开提供一种跨镜头轨迹追踪方法，所述方法包括：

3、获取监控视频流，对视频流中的行人进行检测，并获取行人贴地点；

4、使用投影矩阵将行人贴地点在镜头中的像素位置转化为该行人在全局地图上的坐标位置；

5、根据行人在全局地图上的坐标位置及行人的reid特征将该行人与历史轨迹库中所有历史轨迹进行匹配，以确定行人的轨迹，实现对行人的实时跟踪和轨迹分析。

6、进一步的，所述获取监控视频流，对视频流中的行人进行检测，并获取行人贴地点，包括：

7、对镜头中的行人进行姿态关键点检测，输出行人姿态关键点的像素位置x，y以及对应置信度；

8、若关键点的置信度小于阈值，则认为该关键点被遮挡；

9、若左、右脚关键点存在一个或多个被遮挡，则使用预先训练的行人姿态点还原器对行人姿态关键点进行还原；

10、计算行人左、右脚关键点的中心点作为代表该行人的贴地点。

11、进一步的，所述方法还包括：

12、训练一个基于编码器-解码器框架的行人姿态点还原器，用于还原被遮挡的行人的姿态关键点，包括：

13、准备行人姿态关键点的数据集；

14、随机对数据集中的姿态关键点进行掩码操作；

15、构建编码器，将经过掩码操作的行人姿态关键点进行降维，获取该行人的动作状态；

16、构建解码器，将行人的动作状态进行升维，获取全量的行人姿态关键点；

17、以经过掩码操作的行人姿态关键点为模型输入，未经过掩码操作的行人姿态点作为模型目标，使用mse(mean squared error loss，均方差损失)作为模型损失函数，对编码器-解码器进行训练。

18、进一步的，所述使用投影矩阵将行人贴地点在镜头中的像素位置转化为该行人在全局地图上的坐标位置包括：

19、针对每个摄像头，分别计算其对应的镜头-全局地图坐标转换矩阵；

20、使用捕捉到该行人的摄像头所对应的镜头-全局地图坐标转换矩阵，利用下述等式(1)将该行人贴地点在镜头中的像素位置转换为全局地图坐标；

21、

22、其中，(x，y)为镜头中的像素位置，(x’，y’)为其对应的全局地图坐标，m为该摄像头的镜头-全局地图坐标转换矩阵；

23、其中，针对每个摄像头，分别计算其对应的镜头-全局地图坐标转换矩阵包括：

24、对某一摄像头，在镜头中获取n个具有明显标识度的贴地点，获取这些贴地点的镜头像素位置，同时获取这些贴地点对应的全局地图位置；

25、将这些贴地点的镜头像素位置和对应的全局地图位置分别代入等式(1)中，使用最小二乘法估算其最优转换矩阵作为该摄像头的镜头-全局地图坐标转换矩阵m；

26、针对所有的摄像头，重复此操作，获取每个摄像头对应的镜头-全局地图坐标转换矩阵。

27、进一步的，所述根据行人在全局地图上的坐标位置及行人的reid特征将该行人与历史轨迹库中所有历史轨迹进行匹配，以确定行人的轨迹，包括：

28、对检测到的行人图像进行特征提取，使用通用的reid特征提取网络，将行人图像转码为512维的特征向量，同时记录获取的该行人在全局地图的坐标位置，记为

29、根据行人与各历史轨迹间的reid距离和运动距离将该行人与历史轨迹库中所有历史轨迹进行匹配，判断该行人是否属于轨迹库中已经存在的行人轨迹；

30、若是，则对该行人轨迹进行更新，包括对该行人轨迹加入新观测到的行人的reid特征，以及更新相应的卡尔曼参数；

31、若不是，则为该行人创建新的轨迹，并储存在历史轨迹库中。

32、进一步的，所述根据行人与各历史轨迹间的reid距离和运动距离将该行人与历史轨迹库中所有历史轨迹进行匹配，判断该行人是否属于轨迹库中已经存在的行人轨迹，包括：

33、计算该行人与历史轨迹库中所储存的各个历史轨迹的reid距离，即1减去两者转码后的512维特征向量间的余弦相似度，作为行人与该轨迹的特征距离；

34、对每条历史轨迹进行以下操作：依据全局地图坐标、速度矢量、距离当前时刻的时间长度，计算历史轨迹在当前时刻的先验状态，所述先验状态包括轨迹的全局地图先验坐标和速度矢量；

35、使用卡尔曼滤波计算该轨迹的预测状态的协方差矩阵与该轨迹的坐标误差协方差矩阵sk，依据该轨迹的先验坐标坐标误差协方差矩阵sk、以及观测坐标计算先验坐标与观测坐标的马氏距离的平方，作为检测到的行人与历史轨迹间的运动距离；

36、通过下面公式(2)计算观测行人与历史轨迹的总距离：

37、总距离 ＝ r * 特征距离 + (1-r)*运动距离 (2)

38、r为预先设定的权重系数，若总距离小于阈值，则认为观测到的行人与历史轨迹库中的历史轨迹属于同一人，否则，认为新观测的行人与当前轨迹不属于同一人。

39、进一步的，所述依据全局地图坐标、速度矢量、距离当前时刻的时间长度，计算历史轨迹在当前时刻的先验状态，包括

40、对每条历史轨迹，通过以下方式计算历史轨迹在当前时刻的先验状态，计算方法如下：

41、

42、其中，(xk-1，yk-1)表示该行人轨迹上一次更新时的全局地图坐标，δ(xk-1，δyk-1)表示该行人轨迹上一次更新的速度矢量，为轨迹当前的先验估计状态，即依据上一次更新时该轨迹的坐标与速度估计的当前位置与速度，f(t)为动态转移矩阵，具体参数为：

43、

44、其中，tk代表第k次更新时的时间。

45、第二方面，本公开提供一种跨镜头轨迹追踪系统，所述系统包括：

46、获取模块，其设置为获取监控视频流，对视频流中的行人进行检测，并获取行人贴地点；

47、转换模块，其设置为使用投影矩阵将行人贴地点在镜头中的像素位置转化为该行人在全局地图上的坐标位置；

48、匹配模块，其设置为根据行人在全局地图上的坐标位置及行人的reid特征将该行人与历史轨迹库中所有历史轨迹进行匹配，以确定行人的轨迹，实现对行人的实时跟踪和轨迹分析。

49、第三方面，本公开提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行如第一方面中任一所述的跨镜头轨迹追踪方法。

50、第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的跨镜头轨迹追踪方法。

51、有益效果：

52、本公开提供的跨镜头轨迹追踪方法、跨镜头轨迹追踪系统、电子设备及存储介质，获取行人的贴地点。用贴地点代替传统的检测框中心点或检测框左上右下点，能够更好的捕捉行人动态轨迹，且该方法获取的行人轨迹即使在行人姿态发生明显变化或行人图像被部分遮挡时，依然具备良好的健壮性，在获取行人贴地点后，使用投影矩阵将行人贴地点在镜头中的像素位置转化为该行人在全局地图上的坐标位置，之后使用卡尔曼滤波算法对行人的坐标位置进行动态分析；当行人的轨迹横跨不同摄像头时，可以结合行人轨迹的移动矢量(即运动方向与运动速度)以及行人的reid特征，共同完成跨多摄像头的行人轨迹追踪与识别。