个体识别模型的构建方法、运动个体轨迹追踪及标定方法与流程

本发明涉及计算机视觉与人工智能领域，具体是涉及区域内运动个体的识别与轨迹追踪方法。

背景技术：

1、随着智能监控系统的普及，准确高效地识别并统计特定区域内的人员或载具等运动个体的数量及行踪成为了公共安全、生产管理等领域的重要需求。传统的视频监控分析方法依赖于人工查看或简单的运动检测技术，存在误报率高、实时性差等问题。

2、在大型开放区域如建筑工地、物流园区等场所，人员或设备流动性大，传统监控手段难以实时准确地进行数量统计及个体行动轨迹追踪。

3、近年来，深度学习技术的发展，尤其是yolo系列算法模型在目标检测领域的广泛应用，为解决这一问题提供了新的途径。然而，如何高效整合这些技术，特别是在复杂环境下的运动个体的轨迹跟踪，仍面临挑战。

技术实现思路

1、发明目的：本发明目的在于针对现有技术的不足，首先提供一种个体识别模型的构建方法，借助深度学习技术，实现对个体高效、准确的自动化识别。

2、本发明又一个目的在于提供一种利用上述方法构建的个体识别模型进行运动个体轨迹追踪的方法，以及系统。

3、本发明的再一个目的在于提供一种利用上述方法构建的个体识别模型进行运动个体轨迹标定的方法，以及系统。

4、技术方案：为了解决上述的技术问题，本发明首先提供一种个体识别模型的构建方法，包括如下步骤：

5、s1、采集区域内运动个体的清晰静态图像；

6、s2、对采集的静态图像进行数据预处理以及数据增强，形成图像数据集；

7、s3、以获取的图像数据集作为pp-yoloe预训练模型的输入，进行模型训练，获得个体识别模型。

8、本发明进一步优选地技术方案为，步骤s1所述采集区域内运动个体的静态图像，具体方法为：

9、s11、利用现场摄像头采集区域内各运动个体图像，通过人工筛选的方式对图像进行清洗，确保所选图像清晰；

10、s12、利用labelimg图像标注工具，手动标注每张图片中的个体信息，采用矩形框标记，并记录下每个矩形框的四角坐标，同时附加标签信息，用于界定目标区域。

11、作为优选地，步骤s2所述对采集的静态图像进行数据预处理以及数据增强，形成图像数据集，包括：

12、s21、对采集的静态图像进行数据预处理，具体为：

13、s211、根据系统处理能力和存储需求，配置图像缩放比例为0.3～1，即将从摄像头获取的每一帧图像，长度和宽度都缩小至0.3～1倍，平衡处理速度与图像质量；

14、s212、图像增强：使用拉普拉斯算子对图像进行增强，利用图像的二次微分，对图像中的每一个像素点计算其二阶导数的离散形式，对于二维图像f(x,y)，拉普拉斯算子增强图像的公式表示为：

15、

16、其中，表示图像f(x,y)的拉普拉斯变换，和分别表示图像在x方向和y方向上的二阶导数；

17、针对二维图像，在离散形式下，该公式进一步表示为：

18、

19、这个公式描述了一个像素点(x,y)的拉普拉斯值是如何通过其周围四个相邻像素点的灰度值计算得到的；

20、其中，f(x,y)表示图像在点(x,y)处的灰度值；f(x+1,y)、f(x-1,y)、f(x,y+1)和f(x,y-1)分别表示点(x,y)在x方向上和y方向上的相邻像素点的灰度值，这四个点构成了点(x,y)的“四邻域”；-4f(x,y)表示当前像素点(x,y)灰度值的四倍取反，用于在计算拉普拉斯值时，中心像素点的灰度值在总和中占据主导地位，反映出中心像素点与其周围像素点的灰度差异。

21、s22、对采集的静态图像进行数据增强，具体为：

22、编写python脚本，对筛选后的图像进行一系列变换操作，包括旋转、缩放、裁剪及翻转，与原图像一起组成图像数据集。

23、作为优选地，步骤s3所述以获取的图像数据集作为pp-yoloe预训练模型的输入，进行模型训练，获得个体识别模型，具体方法为：

24、s31、将增强后的数据集划分为训练集、验证集与测试集；

25、s32、加载准备好的图像数据集，包括处理后的图像及其标注的对应的个体信息；

26、s33、细致配置微调参数，设定学习率，批处理大小，训练轮数；

27、s34、导入pp-yoloe预训练模型及其权重，作为微调起点，利用python训练脚本启动微调训练流程；

28、s35、训练完成后，利用验证集对模型性能进行全面评估，重点关注准确率ap与召回率ar；

29、s36、根据评估结果，调整学习率、增加训练轮数或补充样本数据，重复s33至s35的步骤，直至模型性能满足预设标准，训练完成。

30、本发明另一方面提供一种运动个体轨迹追踪方法，包括如下步骤：

31、s4、利用区域内摄像头实时获取视频流数据，并对实时视频流进行解码，获取摄像头每一帧图像数据；

32、s5、根据权利要求1～4任意一项训练好的个体识别模型对当前帧图像进行个体识别检测，获取每个检测到的个体的位置坐标和置信度；

33、s6、根据个体的位置坐标和置信度，预测在当前帧中个体的运动轨迹，并用个体新的位置信息更新相应运动轨迹的状态；

34、s7、重复s4～s6的过程，实现对区域内全部运动个体的实时检测和轨迹追踪，并输出个体轨迹数据。

35、作为优选地，步骤s4所述利用区域内摄像头实时获取视频流数据，并对实时视频流进行解码，获取摄像头每一帧图像数据，具体为：

36、s41、从各种类型的监控摄像头(如ip摄像头、网络摄像头等)实时获取视频流数据；

37、s42、通过标准的网络协议(rtsp、rtmp)接收视频流，并确保数据的连续性和实时性；

38、s43、利用gpu对摄像头实时视频流进行硬解码，获取摄像头每一帧图像数据；

39、s44、对每一帧图像数据进行数据预处理。

40、作为优选地，步骤s42所述通过标准的网络协议(rtsp、rtmp)接收视频流，并确保数据的连续性和实时性，具体包括，在数据采集模块中，内置网络监测机制，自动检测并处理网络中断、摄像头故障等异常情况；

41、其中，网络监测机制包括：

42、(1)网络状态检测：

43、该机制会实时地检测网络连接状态，包括网络带宽、延迟、丢包率等关键指标，这些检测结果有助于判断网络连接的稳定性和可靠性。如果发现网络异常(如网络中断、延迟过高、丢包严重等)，监测机制会立即触发相应的警报，以确保数据采集的连续性。

44、(2)摄像头状态监测：

45、除了网络状态外，该机制还会监测连接到系统的监控摄像头的状态，这包括摄像头的在线状态、视频流传输质量等。如果摄像头出现故障或视频流传输异常(如视频中断、画面模糊等)，监测机制会及时记录并通知相关人员进行处理。

46、(3)异常处理与恢复：

47、当监测到网络或摄像头异常时，内置网络监测机制会尝试自动恢复连接或切换备用摄像头等措施，以尽量减少数据采集的中断时间。如果自动恢复失败，机制会生成详细的异常报告，并通知系统管理员或相关技术人员进行人工干预和处理。

48、(4)日志记录与分析：

49、该机制会记录所有与数据采集相关的网络活动、摄像头状态以及异常处理情况的日志信息。这些日志信息对于后续的故障排查、性能分析和系统优化具有重要的参考价值。

50、(5)可配置性与灵活性：

51、内置网络监测机制，支持灵活的配置选项，允许用户根据实际需求调整监测参数和异常处理策略。这使得机制能够适用于不同的网络环境和监控场景，提高系统的适应性和可用性。

52、作为优选地，步骤s44所述对每一帧图像数据进行数据预处理，具体为：

53、s441、根据系统处理能力和存储需求，配置图像缩放比例为0.3～1，即将从摄像头获取的每一帧图像，长度和宽度都缩小至0.3～1倍，平衡处理速度与图像质量；

54、s442、图像增强：使用拉普拉斯算子对图像进行增强，利用图像的二次微分，对图像中的每一个像素点计算其二阶导数的离散形式，对于二维图像f(x,y)，拉普拉斯算子增强图像的公式表示为：

55、

56、其中，表示图像f(x,y)的拉普拉斯变换，和分别表示图像在x方向和y方向上的二阶导数；

57、针对二维图像，在离散形式下，该公式进一步表示为：

58、

59、这个公式描述了一个像素点*x,y)的拉普拉斯值是如何通过其周围四个相邻像素点的灰度值计算得到的；

60、其中，f(x,y)表示图像在点(x,y)处的灰度值；f(x+1,y)、f(x-1,y)、f(x,u+1)和f(x,y-1)分别表示点(x,y)在x方向上和y方向上的相邻像素点的灰度值，这四个点构成了点(x,y)的“四邻域”；-4f(x,y)表示当前像素点(x,y)灰度值的四倍取反，用于在计算拉普拉斯值时，中心像素点的灰度值在总和中占据主导地位，反映出中心像素点与其周围像素点的灰度差异。

61、作为优选地，步骤s6所述根据个体的位置坐标和置信度，预测在当前帧中个体的运动轨迹，并用个体新的位置信息更新相应运动轨迹的状态；具体方法为：

62、s61、在获取每个检测到的个体的位置坐标和置信度后对目标进行关联，对于每个已存在的轨迹，使用kalman滤波器预测在当前帧中目标的位置，通过计算检测目标与预测目标之间的交并比iou，将检测到的目标与预测的轨迹进行关联；使用匈牙利算法，为每个检测到的目标分配一个最可能的轨迹，或者为新目标创建新的轨迹；

63、s62、对于成功关联的个体，使用该个体检测到的新位置信息来更新相应轨迹的状态，包括位置、速度和加速度，如果某个轨迹在连续多帧中都没有与检测到的目标成功关联，则认为该轨迹已经结束，个体已经离开当前画面，从追踪器中移除该轨迹。

64、本发明又一方面提供一种运动个体轨迹追踪系统，包括：

65、图像获取模块，用于利用区域内摄像头实时获取视频流数据，并对实时视频流进行解码，获取摄像头每一帧图像数据；

66、个体识别模块，用于根据权利要求1～4任意一项训练好的个体识别模型对当前帧图像进行个体识别检测，获取每个检测到的个体的位置坐标和置信度；

67、轨迹计算模块，用于根据个体的位置坐标和置信度，预测在当前帧中个体的运动轨迹，并用个体新的位置信息更新相应运动轨迹的状态；

68、轨迹输出模块，用于针对每个个体的活动轨迹，输出其唯一标识、当前位置以及历史轨迹信息。

69、本发明还提供一种运动个体轨迹标定方法，包括如下步骤：

70、s8、对区域内摄像头进行相机标定，为摄像头坐标系与前端画布坐标系建立映射关系；

71、s9、根据步骤s8建立的摄像头坐标系与前端画布坐标系映射关系，将权利要求5输出的个体轨迹数据映射到前端画布。

72、作为优选地，步骤s8所述的对区域内摄像头进行相机标定，为摄像头坐标系与前端画布坐标系建立映射关系，具体方法为：

73、s81、首先在摄像头画面中选定一个四边形区域作为运动个体活动范围，四边形区域应该清晰地覆盖到运动个体可能活动的所有区域，同时避免背景中不必要的干扰，在摄像头画面中，精确记录选定四边形的四个顶点的像素坐标；

74、s82、根据展示需求，设计前端画布内部的布局，将摄像头画面中的四边形区域映射到前端画布上的矩形区域，记录选定矩形的四个顶点的坐标；

75、s83、构建透视变换矩阵，使用摄像头画面四边形区域的四个顶点像素坐标和前端画布上对应矩形的四个顶点坐标，通过透视变换算法构建透视变换矩阵：

76、

77、其中qx、qx代表前端画布坐标系中的顶点坐标，px、py代表摄像头画面中四边形顶点像素坐标，m0代表所要求的变换矩阵，min代表最小值，即等式左边求导计算出极小值时，对应的m0的值就是所要求的变换矩阵。

78、作为优选地，步骤s9中个体轨迹数据映射到前端画布，具体方法为：

79、s91、应用透视变换，对于检测到的每个轨迹点，使用之前计算得到的透视变换矩阵m0将其从摄像头画面的像素坐标系变换到前端画布的坐标系中，公式：

80、

81、其中，pxi、pyi表示摄像头画面中的人员像素点坐标，qxi、qyi表示对应的画布中坐标；

82、s92、绘制轨迹，在前端画布上，根据映射后的坐标点绘制出运动个体轨迹，利用不同的颜色、线型来区分不同个体的轨迹；

83、s93、实现用户与轨迹的交互功能，包括点击轨迹查看详细信息、缩放画布以查看不同区域的轨迹；

84、s94、进行动态更新，实时更新画布上的轨迹信息，以反映摄像头画面中人员的最新位置和移动情况。

85、本发明再一方面提供一种运动个体轨迹标定系统，包括：

86、布置在区域内的若干摄像头，布置在监控室的前端画布，以及轨迹标定模块；

87、该轨迹标记模块，用于对区域内摄像头进行相机标定，为摄像头坐标系与前端画布坐标系建立映射关系；

88、并利用建立的坐标系映射关系，将权利要求5输出的个体轨迹数据映射到前端画布。

89、有益效果：本发明首先通过paddlepaddle框架加载预训练的pp-yoloe算法模型的训练获得个体识别模型，借助深度学习技术，实现对个体高效、准确的自动化识别；然后从指定区域摄像头获取实时监控视频，对实时视频的帧图像进行目标检测，识别出所有人员的位置。随后，利用算法匹配连续帧间的人员目标，生成精确的人员轨迹。系统界面实时显示人员数量统计及动态轨迹图，为安全管理提供直观的数据支持。

90、本发明通过集成paddlepaddle与pp-yoloe算法的先进技术，并且对paddlepaddle平台上对pp-yoloe算法模型进行调整，针对开放区域的复杂环境，如光照变化、遮挡等因素，通过模型优化和特征增强技术提高目标检测的泛用性和准确性，为开放区域人员作业监控提供了一套全面、高效的解决方案，具有重要的实践价值和市场潜力。

91、本发明开发自适应的追踪算法，确保在人员密集、频繁交叉情况下仍能准确区分个体，减少id交换错误。设计直观的交互界面，用户可实时查看监控区域人员分布热图、实时人员数量及人员轨迹动画。适用于建筑工地、物流园区、大型活动场地等开放区域的人员管理和安全监控，以及任何需要实时监控和分析人员动态的场景。