一种低帧率视频流多目标跟踪方法及装置与流程

本技术涉及图像目标识别与跟踪，具体涉及一种低帧率视频流多目标跟踪方法及装置。

背景技术：

1、目标跟踪算法作为机器视觉应用中的一个典型问题，目前是计算机视觉的研究热点之一。随着人工智能的发展，智能化的监控设备广泛应用。目前使用在监控设备上的目标跟踪技术，主要通过监控摄像机对目标进行图像抓取，然后在边缘设备或中心服务器中利用计算机视觉技术进行检测和分析帧与帧之间的图像特征和运动模型，从而得到跟踪结果。但此方法需要采用deepsort、bytetrack、或者特征匹配等的方法，基于iou匹配、神经网络推理获取特征进行匹配或者两者结合进行图像匹配，但是对于算力有限、需要覆盖多个摄像头的安防场景，无法达到神经网络所需要的算力要求或无法达到iou匹配所需要的帧率要求，面向低帧率视频的应用无法获得令人满意的结果。

技术实现思路

1、为克服上述现有技术的不足，本技术提供了一种低帧率视频流多目标跟踪方法及装置，具体采用如下技术方案：

2、一种低帧率视频流多目标跟踪方法，其包括如下步骤：

3、基于图像识别算法获取视频帧i和视频帧i-1中各检测目标的边界框、类别以及目标编号；

4、根据视频帧i和视频帧i-1中检测目标的类别是否相同，计算视频帧i和视频帧i-1中相同类别的检测目标的类别相似度；

5、获取视频帧i和视频帧i-1中相同类别的检测目标的边界框，并根据边界框分别获取视频帧i和视频帧i-1中相同类别的检测目标的坐标相似度、颜色特征相似度、长宽比相似度以及面积相似度；

6、根据视频帧i和视频帧i-1中检测目标之间的类别相似度、坐标相似度、颜色特征相似度、长宽比相似度以及面积相似度计算视频帧i和视频帧i-1中检测目标之间的综合相似度s:

7、；

8、其中为视频帧i中对应边界框的坐标相似度；为视频帧i中对应边界框的坐标相似度的自适应权重；为视频帧i中对应边界框的颜色特征相似度；为视频帧i中对应边界框的颜色特征相似度的自适应权重;为视频帧i中对应边界框的长宽比相似度；为视频帧i中对应边界框的长宽比相似度的自适应权重；为视频帧i中对应边界框的面积相似度；为视频帧i中对应边界框的面积相似度的自适应权重；为视频帧i中对应检测目标的类别相似度；结合匈牙利算法和综合相似度对视频帧i和视频帧i-1中检测目标进行匹配；

9、对匹配成功的检测目标，记录视频帧i和视频帧i-1检测目标的目标编号，并更新轨迹维护表；

10、根据更新后的轨迹维护表输出视频流中每个目标的跟踪结果。

11、可选的：所述计算视频帧i和视频帧i-1中相同类别的检测目标的类别相似度的步骤为:

12、获取视频帧i和视频帧i-1中待匹配的检测目标的类别；

13、根据视频帧i和视频帧i-1中待匹配的检测目标的类别计算视频帧i和视频帧i-1之间待匹配的检测目标的类别相似度：

14、;

15、其中为视频帧i中检测目标的类别；为视频帧i-1中检测目标的类别。

16、可选的：所述计算视频帧i和视频帧i-1中相同类别的检测目标的坐标相似度为包括：

17、获取视频帧i中检测目标的边界框的至少一组对角坐标（ai,cor,bi,cor）和（ai,cor,bi,cor）；以及获取视频帧i-1中检测目标的边界框的至少一组对角坐标（ai-1,cor,bi-1,cor）和（ai-1,cor,bi-1,cor）；

18、根据视频帧i中检测目标的边界框的对角坐标计算获取视频帧i中检测目标的边界框的中心坐标(xi,cen,yi,cen):

19、;

20、根据视频帧i-1中检测目标的边界框的对角坐标计算获取视频帧i-1中检测目标的边界框的中心坐标(xi-1,cen,yi-1,cen):

21、;

22、根据视频帧i和视频帧i-1中检测目标的边界框的中心坐标计算获得视频帧i与视频帧i-1之间检测目标的边界框的坐标相似度为：

23、。

24、可选的：所述计算视频帧i和视频帧i-1中相同类别的检测目标的颜色特征相似度的步骤包括：

25、对视频帧i和视频帧i-1中相同类别的检测目标的边界框提取颜色分布矩阵；

26、将视频帧i和视频帧i-1中的rgb图像分别转换为hsv图像；

27、分别提取视频帧i和视频帧i-1中边界框内的感兴趣区域，并采用roi align将感兴趣区域缩放至统一尺度；

28、分别计算视频帧i和视频帧i-1中感兴趣区域的结构相似性指数：

29、;

30、其中为视频帧i中感兴趣区域内数据的平均值；为视频帧i-1中感兴趣区域内数据的平均值；为视频帧i中感兴趣区域内数据的方差；为视频帧i-1中感兴趣区域内数据的方差；为视频帧i和视频帧i之间感兴趣区域内数据的协方差；c1和c2是用于稳定计算的常数；

31、则视频帧i和视频帧i-1之间相同类别的检测目标的颜色特征相似度为视频帧i和视频帧i-1中感兴趣区域的结构相似性指数。

32、可选的：所述计算视频帧i和视频帧i-1中相同类别的检测目标的长宽比相似度的步骤包括：

33、获取视频帧i中检测目标的边界框的至少一组对角坐标（ai,cor,bi,cor）和（ai,cor,bi,cor）；以及获取视频帧i-1中检测目标的边界框的至少一组对角坐标（ai-1,cor,bi-1,cor）和（ai-1,cor,bi-1,cor）；

34、分别计算视频帧i和视频帧i-1中相同类别的检测目标的边界框的长宽比：

35、；

36、根据视频帧i和视频帧i-1中边界框的长宽比计算视频帧i和视频帧i-1之间相同类别的检测目标的长宽比相似度：

37、；

38、其中为视频帧i中相同类别的检测目标的边界框的长宽比；为视频帧i-1中相同类别的检测目标的边界框的长宽比。

39、可选的：所述计算视频帧i和视频帧i-1中相同类别的检测目标的面积相似度的步骤包括：

40、获取视频帧i中检测目标的边界框的至少一组对角坐标（ai,cor,bi,cor）和（ai,cor,bi,cor）；以及获取视频帧i-1中检测目标的边界框的至少一组对角坐标（ai-1,cor,bi-1,cor）和（ai-1,cor,bi-1,cor）；

41、分别计算视频帧i和视频帧i-1中边界框的像素面积：

42、；

43、根据视频帧i和视频帧i-1中边界框的像素面积计算视频帧i和视频帧i-1中相同类别的检测目标的面积相似度：

44、；

45、其中为视频帧i中边界框的像素面积；为视频帧i-1中边界框的像素面积。

46、可选的：所述结合匈牙利算法和综合相似度对视频帧i和视频帧i-1中检测目标进行匹配的步骤包括：

47、获取视频帧i和视频帧i-1之间检测目标所对应的综合相似度s；

48、判断视频帧i和视频帧i-1之间检测目标所对应的综合相似度s是否大于预设阈值；

49、若综合相似度大于预设阈值，则维持视频帧i和视频帧i-1之间检测目标所对应的综合相似度；若综合相似度小于或等于预设阈值，则舍弃视频帧i和视频帧i-1之间检测目标所对应的综合相似度，并更换下一检测目标；

50、基于匈牙利算法对视频帧i和视频帧i-1之间的各检测目标进行一对一匹配，以获得视频帧i和视频帧i-1之间检测目标的匹配结果。

51、可选的：当计算视频帧i和视频帧i-1中检测目标之间的综合相似度s时，对所述坐标相似度、颜色特征相似度、长宽比相似度以及面积相似度的自适应权重进行取值的步骤包括：

52、获取视频帧i的环境亮度li以及检测目标的遮挡分数mi；

53、根据视频帧i中检测目标的环境亮度li和遮挡分数mi调整视频帧i中对应检测目标的自适应权重：

54、所述视频帧i中对应检测目标的坐标相似度的自适应权重为：

55、；

56、所述视频帧i中对应检测目标的颜色特征相似度的自适应权重为：

57、;

58、所述视频帧i中对应检测目标的面积相似度的自适应权重为：

59、；

60、所述视频帧i中对应检测目标的长宽比相似度的自适应权重为：

61、；

62、其中分别为修正系数。

63、可选的：针对匹配成功的检测目标，若在预设时间段或预设视频帧数量内，相邻视频帧之间的综合相似度始终高于或等于预设阈值，则维持并更新当前轨迹维护表内的目标编号；若在预设时间段或预设视频帧数量内，相邻视频帧之间检测目标的综合相似度低于预设阈值，则删除轨迹维护表内对应检测目标的目标编号。

64、此外本技术还公开一种低帧率视频流多目标跟踪装置，所述装置包括：

65、目标识别模块，用于基于图像识别算法获取视频帧i和视频帧i-1中各检测目标的边界框、类别以及目标编号；

66、第一计算模块，用于根据视频帧i和视频帧i-1中检测目标的类别是否相同，输出视频帧i和视频帧i-1中相同类别的检测目标的类别相似度；

67、第二计算模块，用于获取视频帧i和视频帧i-1中相同类别的检测目标的边界框，并根据边界框分别获取视频帧i和视频帧i-1中相同类别的检测目标的坐标相似度、颜色特征相似度、长宽比相似度以及面积相似度；

68、综合相似度计算模块，用于根据视频帧i和视频帧i-1中检测目标之间的类别相似度、坐标相似度、颜色特征相似度、长宽比相似度以及面积相似度计算视频帧i和视频帧i-1中检测目标之间的综合相似度s；

69、目标匹配模块，用于结合匈牙利算法和综合相似度对视频帧i和视频帧i-1中检测目标进行匹配；

70、轨迹表维护模块，用于对匹配成功的检测目标，记录视频帧i和视频帧i-1检测目标的目标编号，并更新轨迹维护表；

71、跟踪输出模块，用于根据更新后的轨迹维护表输出视频流中每个目标的跟踪结果。

72、有益效果

73、本技术的技术方案获得了下列有益效果：

74、本技术的低帧率视频流多目标跟踪方法，通过综合边界框中心点距离、颜色分布相似度、长宽比相似度、面积相似度、类别相似度等获取综合相似度，并以综合相似度对图像目标进行匹配，来实现目标跟踪，其无需依赖计算密集型的匹配策略或深度学习特征提取方法，具有低计算成本、高实时性和强鲁棒性特点；同时该方法可基于环境状况、目标遮挡情况可动态调整综合相似度的结果，使匹配结果鲁棒性进一步提高，提高匹配结果准确性。