基于多假设跟踪的多目标跟踪方法

：本发明属于多目标跟踪领域，针对多目标过程中目标位置集合与已跟踪目标集合的匹配过程无法定量分析的问题，本发明提出了一种基于多假设跟踪的多目标跟踪方法。具体地说是对匹配过程分情况处理，对于匹配过程中模糊匹配情况使用多假设跟踪(multiple hypothesis tracking,mht)算法处理，对于匹配过程中的标准匹配使用深度级联匹配(depth cascade matching,dcm)算法处理。

背景技术

0、背景技术：

1、目前，在多目标跟踪(multi-object tracking,mot)领域主要采用的跟踪方法有先检测后跟踪，联合检测与跟踪等，其中，先检测后跟踪方法首先通过基于深度学习的目标检测方法得到每帧图像的目标位置集合，其次将目标位置集合与已跟踪目标集合匹配。随着目标检测技术的蓬勃发展，近年来，先检测后跟踪方式成为主流的多目标跟踪方法，得到了越来越广泛的运用。

2、然而，基于先检测后跟踪的跟踪方法普遍存在一个共性问题，即无法对匹配过程定量分析，对于复杂情况的处理只能让位于匈牙利算法和jonker-volgenant算法，对于匹配的细节无法掌控，导致在极端情况下跟踪效果不好。

3、为了定量分析匹配过程，本发明设计了一种新的匹配算法，将匹配过程分为标准匹配与模糊匹配，以提高跟踪准确度。首先，逐行逐列分析费用矩阵，采用定量的方法判断每行每列是否是标准匹配还是模糊匹配。其次，对于标准匹配采用dcm算法求解，对于模糊匹配采用mht算法求解。最后，将标准匹配与模糊匹配两部分的结果结合起来作为跟踪结果。

4、本发明是从定量的角度分析费用矩阵，采用mht算法与dcm算法改善匹配效果，进而改善跟踪效果的一种手段。

技术实现思路

0、技术实现要素：

1、本发明通过分析费用矩阵，将匹配过程分为标准匹配与模糊匹配，然后通过dcm算法求解标准匹配，通过mht算法求解模糊匹配，最后将两部分的结果结合作为目标跟踪结果。

2、本发明采用的技术方案是：

3、第一步：采集红外船舶图像数据，划分为训练集、验证集和测试集，训练yolov8模型，得到训练好的yolov8模型；

4、第二步：读取第f帧红外船舶图像i，图像的大小为m×n，其中m是图像i的宽度像素数，n是图像i的高度像素数，将红外船舶图像i输入训练好的yolov8模型，得到由n个目标组成的目标位置集合di表示第i个检测结果，其对应的目标检测框左上角、右下角像素点的坐标分别为(x1,y1)、(x2,y2)，如公式(1)、(2)所示：

5、

6、di＝[x1,y1,x2,y2]                                                (2)

7、第三步：根据已跟踪目标的状态信息预测其在当前帧的位置，具体过程如下：

8、(a)定义已跟踪目标在第f-1帧目标检测框状态信息，代表已跟踪目标集合，m代表已跟踪目标个数，xj表示中第j个已跟踪目标的目标检测框状态信息，(x,y)表示已跟踪目标的目标检测框左上角的坐标，(w,h)表示已跟踪目标的目标检测框的宽度和高度，(vx,vy)表示坐标(x,y)的运动速度，(vw,vh)表示(w,h)的运动速度，如公式(3)、(4)所示：

9、

10、xj＝[x,y,w,h,vx,vy,vw,vh]                                           (4)

11、(b)基于已知状态信息使用kalman滤波预测集合中已跟踪目标在当前帧f的位置，获取预测位置集合m代表已跟踪目标个数，tpj表示中第j个已跟踪目标在当前时刻的预测结果，其对应的目标检测框左上角、右下角像素点的坐标分别为(x″1,y″1)、(x″2,y″2)，如公式(5)、(6)所示：

12、

13、tpj＝[x″1,y″1,x″2,y″2]                      (6)

14、第四步：计算集合与集合中每个目标检测框的伪深度，得到伪深度集合以及伪深度集合具体过程如下：

15、(a)按照公式(7)计算中每个目标检测框的伪深度，hdi表示第二步中di的伪深度，如公式(8)组成伪深度集合

16、hdi＝n-y2                                                      (7)

17、

18、(b)按照公式(9)计算中每个目标检测框的伪深度，hpj表示第三步中tpj的伪深度，如公式(10)组成伪深度集合

19、hpj＝n-y″2                                                     (9)

20、

21、第五步：将集合与按照伪深度信息进行分组，具体操作流程如下所示：

22、(a)确定伪深度集合的最大值hdmax与最小值hdmin，将范围(hdmin,hdmax)均匀分为k组，将集合中元素按照其伪深度值的大小划分到k个对应组中，得到由伪深度分组组成的集合depdl表示第l分组，dli表示第l分组中第i个检测结果，如公式(11)、(12)所示：

23、

24、deptl＝{tl1,tl2,…,tlj}                                (12)

25、(b)按照同样方法将伪深度集合分为k组，得到分组组成的集合deptl表示第l个分组，tlj表示第l分组中第j个检测结果，如公式(13)、(14)所示：

26、

27、deptl＝{tl1,tl2,…,tlj}                                  (14)

28、第六步：利用交并比(intersection over union,iou)分别计算集合与集合之间的费用矩阵，得到k个费用矩阵构成的矩阵集合如公式(15)所示：

29、

30、以cl为例说明集合的计算过程，cl是中第l分组depdl与deptl之间的费用矩阵，其中，cl(i,j)是depdl中第i个元素depdl(i)与deptl中第j个元素deptl(j)的iou值，如公式(16)所示：

31、cl(i,j)＝iou(depdl(i),deptl(j))                                    (16)

32、第七步：定量分析集合拆分集合得到属于标准匹配的目标位置集合与属于模糊匹配的目标位置集合包含k组属于标准匹配的目标位置，dep′dl表示的第l分组，包含k组属于模糊匹配的目标位置，ambdl表示的第l分组，如公式(17)、(18)所示：

33、

34、

35、拆分集合得到属于标准匹配的预测位置集合与属于模糊匹配的预测位置集合包含k组属于标准匹配的预测位置，dep′tl表示的第l分组，包含k组属于模糊匹配的预测位置，ambtl表示的第l分组，如公式(19)、(20)所示：

36、

37、

38、具体流程如下：

39、(a)设置区分模糊匹配与标准匹配的阈值δ；

40、(b)寻找集合中每个费用矩阵的模糊匹配，以第l个费用矩阵cl为例，分别遍历cl的行和列，以cl第i行cl(i,:)和cl第j列cl(:,j)为例，具体流程如下：

41、1)找到cl(i,:)的最小值cmin，寻找cl(i,:)在(cmin,cmin+δ)范围内的值；

42、2)若在cl(i,:)中存在(cmin,cmin+δ)范围内的值，将depdl的第i个元素depdl(i)放入集合ambdl中，若不存在，将depdl(i)放入集合dep′dl，最后得到dep′dl与ambdl；

43、3)找到cl(:,j)的最小值c′min，寻找cl(:,j)在(c′min,c′min+δ)范围内的值；

44、4)若在cl(:,j)中存在(c′min,c′min+δ)范围内的值，将deptl的第j个元素deptl(j)放入集合ambtl中，若不存在，将deptl(j)放入集合dep′tl，最后得到dep′tl与ambtl；

45、第八步：求解标准匹配与模糊匹配，具体流程如下：

46、(a)使用iou分别计算与之间的费用矩阵，得到k个费用矩阵构成的矩阵集合如公式(21)所示：

47、

48、以cl1为例说明集合的计算过程，cl1是与的第l个分组dep′dl与dep′tl之间的费用矩阵，其中，cl1(i,j)是dep′dl的第i个元素dep′dl(i)与dep′tl的第j个元素dep′tl(j)的iou值，如公式(22)所示：

49、cl1(i,j)＝iou(dep′dl(i),dep′tl(j))                 (22)

50、采用sparsetrack中的深度级联匹配(depth cascade matching,dcm)算法对集合进行匹配，得到已匹配的目标位置与预测位置集合未匹配的预测位置集合以及未匹配的目标位置集合三部分结果，match1i为的第i对已匹配的目标位置dm1i与预测位置tm1j，如公式(23)、(24)所示：

51、

52、match1i＝{dm1i,tm1j}                                              (24)

53、tu1j是第j个未匹配的预测位置，如公式(25)所示：

54、

55、du1l是第l个未匹配的目标位置，如公式(26)所示：

56、

57、(b)对于集合与集合暂不进行匹配，保留其直至到第f+p帧，p为常数，得到p+1帧内属于模糊匹配的目标位置集合组成的集合ambdetframe与p+1帧内属于模糊匹配的预测位置集合组成的集合ambtrackframe，表示第f+i帧属于模糊匹配的目标位置集合，表示第f+i帧属于模糊匹配的预测位置集合，如式(27)、(28)所示：

58、

59、

60、将ambdetframe与ambtrackframe输入多假设跟踪(multiple hypothesistracking,mht)算法求解第f帧集合与集合的匹配关系，得到第f帧已匹配的目标位置与预测位置集合未匹配的预测位置集合以及未匹配的目标位置集合三部分结果，match2i为的第i对已匹配的目标位置dm2i与预测位置tm2j，如公式(29)、(30)所示：

61、

62、match2i＝{dm2i,tm2j}       (30)

63、tu2j是第j个未匹配的预测位置，如公式(31)所示：

64、

65、du2l是第l个未匹配的目标位置，如公式(32)所示：

66、

67、(c)在延迟p帧后，结合(a)与(b)的匹配结果，得到已匹配的目标位置与预测位置集合未匹配的预测位置集合以及未匹配的目标位置集合三部分结果，matchi为的第i对已匹配的目标位置dmi与预测位置tmj，如公式(33)、(34)所示：

68、

69、matchi＝{dmi,tmj}      (34)

70、tuj是第j个未匹配的预测位置，如公式(35)所示：

71、

72、dul是第l个未匹配的目标位置，如公式(36)所示：

73、

74、第九步：通过集合集合以及集合的每个元素更新第三步的已跟踪目标集合并输出第f帧目标跟踪结果，具体过程如下：

75、(a)对于集合中已匹配的matchi，使用matchi的目标位置信息dmi通过kalman滤波更新matchi的预测位置tmj所属已跟踪目标的状态信息xmj；

76、(b)对于集合中未匹配的预测位置tuj，设置其所属的已跟踪目标为丢失状态，其所属已跟踪目标丢失时间加1，若丢失时间超过30，则从集合中删除该跟踪目标状态信息xuj；

77、(c)对于集合中未匹配的检测结果dul，视为新的已跟踪目标，按照kalman滤波算法初始化跟踪目标状态信息xul，将其放入集合中；

78、(d)使用kalman滤波观测方程，根据集合中已跟踪目标状态信息得到第f帧目标跟踪结果。

79、本发明优点在于：

80、1、定量分析费用矩阵；

81、2、对于标准匹配采用dcm算法，对于模糊匹配采用mht算法；

82、3、对匹配速度几乎无影响。