一种用在体育场景分析中的检测跟踪系统与方法

本发明涉及多目标检测跟踪领域，尤其涉及一种用在体育场景分析中的检测跟踪系统与方法。

背景技术：

1、在现代体育场景的分析中，运动员检测跟踪技术发挥着关键作用。传统的运动员的检测跟踪系统首先利用检测器对每一帧图像进行目标检测，以生成检测框。接着，系统对检测到的运动员提取信息，包括位置信息和外观信息，并将这些信息与先前轨迹的信息进行相似性评估，以实现跟踪关联。常用的匹配特征包括轨迹预测框和检测框的交并比（iou）以及运动员重识别特征（reid）。预测框是基于t-1时刻的运动员位置来预测运动员在t时刻的位置，通常使用卡尔曼滤波对运动员的运动轨迹进行建模。卡尔曼滤波假设前后两帧之间的时间间隔较短，运动员的运动符合线性假设，从而来预测轨迹下一帧所在位置，然后以iou为代价函数，通过匈牙利算法实现预测框和检测框的贪婪匹配。运动员的外观信息，作为提高跟踪连续性的关键特征，当目标频繁离开视野时尤其重要，因为在目标重新出现时，外观信息可以帮助目标匹配回原有的轨迹，减少身份标识符切换次数（ids）。

2、然而，运动员的运动通常是不规则且非线性的，意味着运动员在短时间可能会发生较大的速度变化，导致使用卡尔曼滤波时容易出现跟丢现象。此外，在竞技类运动中，频繁的身体接触以及遮挡进一步增加了跟踪的难度。oc-sort通过计算遮挡期间的虚拟轨迹，修正卡尔曼滤波器对噪声和速度估计的积累误差，防止重新匹配上的轨迹再次跟丢。deep-eiou直接放弃使用卡尔曼滤波器，提出了迭代扩展的交并比（eiou）来解决这一问题。eiou通过扩展检测框的尺寸，来处理运动员在相邻帧之间的大幅度运动变化，并结合reid特征对检测和轨迹进行多级匹配来提高运动员跟踪的稳定性和准确性。

3、但是，deep-eiou模型的效果很大程度依赖于reid特征的有效提取，需要依赖清晰、高质量的图像输入，在现实的运动场景中尤为困难。在竞技类体育运动如足球、篮球或田径等比赛中，运动员的高速运动和频繁变向容易导致成像模糊，从而影响外观信息的准确性。除此之外，运动员之间的身体接触、遮挡以及摄像机的抖动和变焦也进一步增加了特征提取的难度。

4、因此，本领域的技术人员致力于开发一种更加适用于运动场景下的检测跟踪系统与方法，解决现有技术中容易出现的跟丢和错误匹配等问题。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在高速运动和频繁变向的运动场景下进行准确地检测和跟踪，解决因为模糊检测框所导致的跟丢和错误匹配问题。

2、为实现上述目的，本发明提供了一种用在体育场景分析中的检测跟踪系统，包括摄像头模块、目标检测模块、外观特征提取模块、预测模块、运动相机补偿模块、高分匹配模块、位置特征提取模块、低分匹配模块、更新模块、轨迹维护模块；

3、其中，所述摄像头模块是整个系统获取外部环境信息的主要传感模块，通过捕捉视频图像数据，提供实时的运动员位置和动作信息；

4、所述目标检测模块连接所述摄像头模块，对获取的所述视频图像数据进行处理，生成检测框；

5、所述外观特征提取模块连接所述目标检测模块，对置信度大于0.6的所述检测框，即高分检测框，进行高分检测，提取运动员的外观，再使用卷积神经网络提取初步特征，将提取的所述初步特征输入到transformer模块中，以捕捉运动员的身体不同部位之间的依赖关系；

6、所述预测模块连接所述摄像头模块，接收所述视频图像数据和t-1帧的轨迹信息，生成第t帧的轨迹预估；

7、所述运动相机补偿模块连接所述预测模块，对所述视频图像数据和两帧之间的所述轨迹信息不一致问题进行修复；

8、所述高分匹配模块连接所述外观特征提取模块和所述运动相机补偿模块，计算高分检测和轨迹预估所获得的外观之间的外观相似性和空间相似性，并进行匈牙利匹配，得到最终分配结果；对于没有匹配成功的所述高分检测框，直接初始化为新轨迹，并用所述高分检测框的外观特征来初始化所述新轨迹的外观特征；

9、所述位置特征提取模块连接所述目标检测模块和所述高分匹配模块，对置信度小于0.6且大于0.2的所述检测框，即低分检测框，进行低分检测，利用所述检测框的位置信息和形状生成初步的位置特征嵌入，结合运动员与周围运动员之间的相对位置来更新所述位置特征嵌入；

10、所述低分匹配模块连接所述位置特征提取模块，计算所述低分检测框和所述高分匹配模块中剩下轨迹的相似度，并进行匈牙利匹配得到最终匹配结果，对于没有匹配成功的所述低分检测框，直接丢弃；

11、所述更新模块连接所述高分匹配模块和所述低分匹配模块，对匹配成功之后轨迹的卡尔曼滤波参数进行更新，便于后续进行更准确的位置估计；

12、所述轨迹维护模块连接所述更新模块，对于在所述高分匹配模块中匹配上的轨迹，使用对应的高分检测的外观特征来更新轨迹的外观特征；对于在所述低分匹配模块中匹配上的轨迹，沿用当前的外观特征；对于所述新轨迹，判断所述新轨迹在下一帧中是否和检测匹配上，若匹配上，所述新轨迹转化为有效轨迹，若没有匹配上，所述新轨迹直接被丢弃。

13、进一步地，所述目标检测模块所采用的视频检测的模型是yolov7，利用所述预测模块生成的预测框在所述视频图像数据中生成感兴趣区域，从而在目标检测过程中给予所述感兴趣区域更大的注意力权重。

14、进一步地，所述述外观特征提取模块中使用的所述卷积神经网络是类似resnet的预训练模型。

15、进一步地，所述位置特征提取模块中的所述初步的位置特征嵌入记为，可以通过直接向线性层中输入所述检测框的位置和形状大小生成，公式如下：

16、

17、当两个运动员和在图中的欧式距离小于设定的阈值时，则认为两者相邻，其中，邻接矩阵的定义如下：

18、。

19、进一步地，在所述位置特征提取模块中，通过计算相邻检测框之间的相对距离、角度来获得运动员与周围运动员之间的所述相对位置来进一步丰富所述初步的位置特征嵌入；

20、使用splinecnn来完成所述相对位置的信息融合，并生成最终的位置特征嵌入，公式如下：

21、

22、。

23、进一步地，所述预测模块和所述更新模块使用修正的卡尔曼滤波模型来进行预测和更新。

24、进一步地，所述运动相机补偿模块采用的运动相机补偿算法是稀疏光流法。

25、进一步地，在所述轨迹维护模块中，对于当前帧没有匹配上的所述有效轨迹，将会增加所述有效轨迹的连续未被命中次数，若下一帧和检测框匹配上，则连续未被命中次数清零，若连续未被命中次数超过60，则直接丢弃所述有效轨迹。

26、本发明还提供一种用在体育场景分析中的检测跟踪方法，包括以下步骤：

27、步骤1、摄像头模块捕捉视频图像数据，提供实时的运动员位置和动作信息；

28、步骤2、预测模块接收上一轮匹配得到的轨迹，对轨迹在当前帧的位置进行估计，生成预测框，并将所述预测框的位置信息发送到目标检测模块和高分匹配模块；

29、步骤3、所述目标检测模块接收所述视频图像数据和所述预测框的位置信息，对当前帧图片信息进行处理，识别运动员的位置信息，生成检测框，并根据检测置信度将所述检测框划分为高分检测框和低分检测框，分别送至外观特征提取模块和位置特征提取模块；

30、步骤4、所述外观特征提取模块接收到所述高分检测框后，提取运动员的外观特征，并连同运动员的位置信息一起送到高分匹配模块中；

31、步骤5、所述高分匹配模块接收运动员的外观特征和位置信息以及轨迹的外观特征和所述预测框的位置信息，来计算所述检测框和轨迹之间的相似性，使用匈牙利算法进行贪婪匹配，匹配上的轨迹送入更新模块；没匹配上的检测初始化为新轨迹，并直接送入轨迹维护模块，没匹配上的轨迹送入位置特征提取模块；

32、步骤6、所述位置特征提取模块接受所述低分检测框和没匹配上的轨迹，提取所述低分检测框的位置、形状和周边信息，生成位置特征，送入低分检测模块当中；

33、步骤7、所述低分检测模块接收所述低分检测框和没匹配上的轨迹的位置特征和原始的位置信息来计算所述检测框和轨迹之间的相似性并进行匹配，匹配上的轨迹送入更新模块，没匹配上的检测直接丢弃，没匹配上的轨迹直接送入轨迹维护模块；

34、步骤8、所述更新模块接收匹配上的轨迹，对轨迹的卡尔曼滤波参数进行更新，并将更新后的轨迹送入所述轨迹维护模块；

35、步骤9、所述轨迹维护模块接收所有轨迹信息，对轨迹的外观特征进行更新，丢弃无用轨迹，并将轨迹信息送至所述预测模块。

36、进一步地，所述步骤1包括以下子步骤：

37、步骤1.1、在运动场地的前后左右四个方位，选取中轴位置，即检测视角最大的位置，安装运动云台和摄像机；

38、步骤1.2、等待比赛开始，给所述运动云台和所述摄像机上电，开始采集所述视频图像数据，提供实时的运动员位置和动作信息，并送至所述目标检测模块。

39、本发明提供的一种用在体育场景分析中的检测跟踪系统与方法至少具有以下技术效果：

40、1、本发明所提供的技术方案提出了yolov7-v，借助预测模块对上一帧生成的轨迹进行当前帧的位置预测，并利用轨迹的预测框在图中生成感兴趣区域，帮助yolov7的主干网络更好地提取运动员的特征，从而克服传统的体育场景的目标检测模型在处理目标快速移动和频繁遮挡的情况时往往不够稳定，缺乏对时序信息利用，容易受背景变化的干扰，计算复杂度较高，会出现运动员漏检或者把观众误检成运动员的情况。

41、2、对于低分检测框，本发明所提供的技术方案提出了位置特征提取模块，在外观特征不可靠的情况下，利用检测框和预测框之间的位置、形状、置信度以及周围信息的进行相似性计算来完成最终的匹配，从而有效克服传统的跟踪模型在体育场景中过分依赖运动员的外观信息，在运动员出现姿势和方向的快速变化、遮挡或者运动模糊时，无法得到有效的外观特征的问题。对于由于遮挡或运动模糊导致的低分检测，传统的跟踪模型仅通过计算低分检测框和轨迹之间交并比来衡量相似性，容易出现跟丢或者错误匹配等情况。

42、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。