跨相机车辆跟踪方法及装置与流程

本发明涉及车辆管控，尤其涉及一种跨相机车辆跟踪方法及装置。

背景技术：

1、为了了解车场的车辆分布情况，以准确诱导车辆驾驶，提高车辆的进出效率，减少拥堵等，车场需要对驾驶场内的车辆进行跟踪。目前，车辆跟踪算法主要分为两个阶段：检测和跟踪。在检测阶段，算法需要从监控视频中识别出车辆的位置和相关特征属性；在跟踪阶段，需要根据检测结果跟踪车辆在视频中的运动轨迹，跟踪的效果依赖于检测的结果。然而，在车辆被遮挡严重的情况下，例如：车辆停车的遮挡、过路车辆的遮挡、道路拥挤时的遮挡、其他移动目标的遮挡(行人、非机动车等)，检测器失效的可能性大大增加，导致无法检测得到完整的车辆信息，这给后续跟踪算法带来很大干扰，从而影响车辆跟踪的准确性。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种跨相机车辆跟踪方法及装置，以解决车辆跟踪的准确性较低的技术问题。

2、本发明提供一种跨相机车辆跟踪方法，包括：

3、获取第一监控视频任一帧对应的第一检测信息，以及获取第二监控视频任一帧对应的第二检测信息，其中，所述第一监控视频和所述第二监控视频是基于不同位置的相机采集得到；所述第一检测信息和所述第二检测信息是对监控视频进行车辆检测得到的信息；

4、基于各所述第一检测信息，对任一车道的第二检测信息进行特征补全，得到任一车辆在任一车道的多模态车辆信息；

5、基于所述任一车辆的多模态车辆信息，确定所述任一车辆的跨相机跟踪轨迹。

6、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述基于各所述第一检测信息，对任一车道的第二检测信息进行特征补全，得到任一车辆在任一车道的多模态车辆信息，包括：

7、对于任意一个车道的第二检测信息：

8、将所述第二检测信息映射至预设构建的车场数字孪生世界，得到在车场数字孪生世界下的车辆检测信息；

9、基于所述车辆检测信息，判断是否查询得到关联有车辆id标识；

10、若所述车辆检测信息关联有车辆id标识，则在各所述第一检测信息中确定所述车辆id标识关联的目标第一检测信息，以基于所述目标第一检测信息，对所述车辆检测信息进行特征补全，得到所述多模态车辆信息。

11、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述基于所述车辆检测信息，判断是否查询得到关联有车辆id标识之后，还包括：

12、若所述车辆检测信息未关联有车辆id标识，则判断所述车辆检测信息是否包含有车牌信息；

13、若包含有车牌信息，则在各所述第一检测信息中确定包含有所述车牌信息对应的目标第一检测信息，以基于所述目标第一检测信息，对所述车辆检测信息进行特征补全，得到所述多模态车辆信息。

14、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述车辆特征信息包括车辆reid特征和车辆颜色；所述判断所述车辆检测信息是否包含有车牌信息之后，还包括：

15、若未包含有车牌信息，则基于所述车辆reid特征与任一所述第一检测信息中的车辆特征，确定特征相似度；

16、若所述特征相似度大于第一预设相似度阈值，且所述车辆颜色与所述第一检测信息中车辆颜色之间的相似度大于预设颜色相似度阈值，则将大于第一预设相似度阈值对应的第一检测信息作为所述目标第一检测信息，以基于所述目标第一检测信息，对所述车辆检测信息进行特征补全，得到所述多模态车辆信息。

17、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述基于所述车辆reid特征与任一所述第一检测信息中的车辆特征，确定特征相似度之后，还包括：

18、若所述特征相似度不大于第一预设相似度阈值，或者所述车辆颜色与所述第一检测信息中的车辆颜色之间的相似度不大于预设颜色相似度阈值，则在其他车道的各个车辆检测信息中查询得到所有关联有车辆id标识的目标检测信息；

19、基于各所述目标检测信息中的车辆速度和车辆位置，确定多个预测位置；

20、将各所述预测位置和所述车辆检测信息中的车辆位置进行位置匹配；

21、若位置相匹配，且所述车辆位置的预设距离内不存在其余车辆，则基于位置匹配的目标检测信息关联的车辆id标识，在各所述第一检测信息中确定所述目标第一检测信息，以基于所述目标第一检测信息，对所述车辆检测信息进行特征补全，得到所述多模态车辆信息。

22、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述将各所述预测位置和所述车辆检测信息中的车辆位置进行位置匹配之后，还包括：

23、若位置不相匹配，或者所述车辆位置的预设距离内存在其余车辆，则基于所述目标检测信息对应的预测位置、车辆颜色、车辆reid特征，以及所述车辆检测信息的车辆位置、车辆颜色、车辆reid特征进行加权运算，得到加权相似度；

24、若所述加权相似度超过第二预设相似度阈值，则基于超过第二预设相似度阈值对应的目标检测信息关联的车辆id标识，在各所述第一检测信息中确定所述目标第一检测信息，以基于所述目标第一检测信息，对所述车辆检测信息进行特征补全，得到所述多模态车辆信息。

25、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述获取第二监控视频任一帧对应的第二检测信息，包括：

26、对于任一车道上的第二监控视频：

27、对所述第二监控视频进行目标检测，得到车辆在任一帧的检测框信息；

28、基于所述任一帧的检测框信息，分析建模得到所述车辆在相机数字孪生世界下每一帧的位姿信息；

29、基于任一相邻两帧下的位姿信息，确定任一相邻两帧下的车辆速度；

30、基于所述每一帧的位姿信息和所述车辆速度，形成所述第二检测信息。

31、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述基于所述任一帧的检测框信息，分析建模得到所述车辆在相机数字孪生世界下每一帧的位姿信息，包括：

32、获取相机标定参数；

33、基于所述相机标定参数和所述任一帧的检测框信息，利用预先构建的3d车辆框回归模型预测得到任一帧的3d边界框信息；

34、基于任一帧的3d边界框信息，确定所述车辆在三维空间下的车辆信息，其中，所述车辆信息包括底盘位置、车辆角度和车辆朝向；

35、将任一帧的所述底盘位置、所述车辆角度和所述车辆朝向映射至所述相机数字孪生世界中进行建模，得到所述车辆在相机数字孪生世界下每一帧的位姿信息；或者，

36、若所述车辆角度小于预设角度阈值，且所述车辆朝向处于预设朝向，则对所述车辆监控视频进行车辆识别，得到所述车辆的车款分类结果；

37、将所述车款分类结果以及任一帧的所述底盘位置、所述车辆角度和所述车辆朝向映射至所述相机数字孪生世界中进行建模，得到所述车辆在相机数字孪生世界下每一帧的位姿信息。

38、可选地，根据本发明提供的一种跨相机车辆跟踪方法，所述基于所述任一车辆的多模态车辆信息，确定所述任一车辆的跨相机跟踪轨迹，包括：

39、将关联有相同车辆id标识对应的各个多模态车辆信息进行关联，得到所述车辆id标识对应车辆的跨相机跟踪轨迹。

40、本发明还提供一种跨相机车辆跟踪装置，包括：

41、获取模块，用于获取第一监控视频任一帧对应的第一检测信息，以及获取第二监控视频任一帧对应的第二检测信息，其中，所述第一监控视频和所述第二监控视频是基于不同位置的相机采集得到；所述第一检测信息和所述第二检测信息是对监控视频进行车辆检测得到的信息；

42、特征补全模块，用于基于各所述第一检测信息，对任一车道的第二检测信息进行特征补全，得到任一车辆在任一车道的多模态车辆信息；

43、跟踪确定模块，用于基于所述任一车辆的多模态车辆信息，确定所述任一车辆的跨相机跟踪轨迹。

44、上述跨相机车辆跟踪方法及装置，包括：获取第一监控视频任一帧对应的第一检测信息，以及获取第二监控视频任一帧对应的第二检测信息，其中，所述第一监控视频是基于出入口处的卡口相机采集得到；所述第二监控视频是基于各车道上的车道相机采集得到；基于各所述第一检测信息，对任一车道的第二检测信息进行特征补全，得到任一车辆在任一车道的多模态车辆信息；基于所述任一车辆的多模态车辆信息，确定所述任一车辆的跨相机跟踪轨迹。本发明通过联动不同位置的多个相机，以利用完整的检测信息，对车道的检测信息进行特征补全，得到任一车辆全面的多模态车辆信息，从而即便是在车辆被部分遮挡的情况下，系统也能利用其他相机的信息来补充缺失的信息，进而结合来自不同相机的多模态车辆信息对场内车辆进行实时跨相机跟踪，提高车辆跨相机跟踪的完整性和精确性。