一种隧道货车遗撒物识别、处置方法及装置

本发明属于智能交通，具体涉及一种隧道货车遗撒物识别、处置方法及装置。

背景技术：

1、近年来，随着我国经济迅速发展，隧道建设规模也在不断扩大，作为缩短行车距离的便利选择，公路隧道已成为人们日常出行的首选。但相较于电缆隧道、综合管廊等场景，公路隧道内部环境空间更加密闭，车流量更大，建筑结构和机电设备情形更加复杂，一旦发生交通事故，将会造成重大的财产损失与人员伤亡，造成不可逆的伤害。因此，为了维护公路隧道的安全运营，需要对隧道进行定期巡检，并针对隧道进行特定维护，避免其威胁到隧道内部的行车安全。通过定期巡检和维护，可以及时发现并解决隧道内的安全隐患，减少事故风险，保障行车安全和人员安全。隧道内环境阴暗狭小、相对封闭，采用人工巡检路面遗撒物的方式危险系数高、容易产生主观性判断。一旦由于遗撒物而造成交通事故的发生，将会造成车辆阻塞，救援难度增大，会增加救援人员进行救援的困难。同时遗撒物可能堆积在一起导致救援人员难以抵达事故现场，如果遗撒物造成的交通事故没有进行及时处理，可能会引发后续车辆的追尾事故或其他二次事故，造成更严重的经济损失和人员伤亡。因此有必要寻求一种针对隧道特殊环境的货车遗撒物识别、处置方法，降低车辆行驶过程中的安全风险，提升隧道运营的安全性和效率，为隧道运营安全提供更全面的保障。

技术实现思路

1、本发明提出了一种隧道货车遗撒物识别、处置方法及装置，通过隧道内固定摄像头和轮式巡检机器人搭配使用的方式识别货车绳索状态并进一步检测隧道内的遗撒物，若绳索断裂导致路面出现遗撒物，机器人会检测遗撒物的类别并进行处理或通知运维人员前来清理，可以有效规避人工巡检的弊端，有力保障隧道的行车安全。

2、本发明所述的一种隧道货车遗撒物识别、处置方法，通过轮式巡检机器人搭配隧道内固定摄像头进行协同工作，采用deepsort算法对隧道内载有货物的货车进行轨迹追踪，采用yolov5目标检测算法对货车上绳索的绑绳状态进行检测，通过yolov5算法识别清理遗撒物。

3、其具体步骤为：

4、s1：利用训练好的货车检测模型i对隧道内载有货物的货车进行目标识别和轨迹追踪；

5、s11：使用标记工具对收集到的不同条件下的货车图像进行标记，并分配track的类别标签，得到训练集和验证集；将训练集和验证集放入yolov5模型中进行训练，得到货车检测模型i；

6、更具体的，使用labelimg标记工具对收集到的不同光照和天气条件下的各类货车：高栏货车、低栏货车、平板式货车、栏板式货车、仓栅式货车及其他需要绑绳的货车图像进行标注；在标注过程中，每张图像中的货车都会被准确地标记出货车所处的边界框及货车类型；模型i包含货车位置、边界框、置信度及货车类别等信息。

7、s12：通过隧道内的固定摄像头持续捕捉货车行驶的视频流，将视频流切分为图像数据，使用货车检测模型i对每一帧图像数据进行处理，得出检测结果，检测结果作为deepsort算法的输入；

8、被捕捉的视频流被实时传输到后端处理系统切分为图像数据；所述的检测结果包括边界框坐标、类别标签、置信度，用于初始化或更新跟踪目标deepsort。

9、s13：deepsort算法接收到检测结果后，初始化deepsort追踪器，为每个货车分配一个唯一的跟踪id，通过结合外观特征和运动特征，使用级联匹配策略和匈牙利算法进行数据关联，对货车进行跟踪，并使用卡尔曼滤波器对货车的运动轨迹进行推断和预测；

10、跟踪id将在整个追踪过程中用于标识和关联该特定的货车，用于维护其在整个视频序列中的轨迹，deepsort算法在检测过程中会持续更新每个货车的状态，包括位置、速度和外观特征等。最终，系统将输出每个货车的轨迹信息。采用卡尔曼滤波器的递归估计算法，可以动态地估计货车行驶状态，并且能够处理系统中的噪声和不确定性。对于每个追踪器，卡尔曼滤波器会根据当前的观测数据和先前的状态估计更新货车的位置和速度。

11、s2：收集绑有货物的货车的绑绳图像制作货车绳索状态数据集，利用yolov5模型进行训练，得到可以识别出货车绑绳状态的货车绳索状态检测模型ii。

12、s21：收集不同条件下能够清晰观察到绳索的状态的高质量货车图像；

13、s22：使用标注工具对图像的绳索状态进行标注并分配正确的类别标签，处于正常还是脱落状态；

14、使用labelimg标注工具对货车的绳索状态进行标注。正常状态表示绳索稳固地绑扎货物，而脱落状态则意味着绳索已经松动或解开，绳索脱垂至地下，可能有遗撒物掉落导致交通事故的后果。

15、s23：标注后图像利用yolov5模型进行训练，得到能够准确识别货车绳索状态的货车绳索状态检测模型ii。

16、调整图像的大小、格式和质量以适应训练模型ii的数据集要求，确保图像的一致性和可用性，并对模型ii进行调参和优化，调整学习率、迭代次数等超参数，提高其准确性和泛化能力，确保模型ii最终能够准确识别货车绳索状态；

17、s3：利用训练好的货车绳索状态检测模型ii对隧道内行驶的货车上绑绳进行目标检测，检测结果给出绑绳的状态信息：正常/脱落。

18、s4：构建遗撒物数据集，得到综合遗撒物图像数据集。

19、绳索脱落后会导致遗撒物掉落，通过训练目标检测yolov5模型可以识别遗撒物类别。为了准确识别可能出现的各类遗撒物，需要准备遗撒物数据集，目前网上能搜索到的遗撒物数据集较少，因此本发明采取如下两种方式进行遗撒物数据集的收集和构建：

20、方式一：现场拍摄的方式，选取当地一些尚处于建设中的隧道，确保隧道在安全条件下可以进入，并且获得相关部门的许可。选择或制作一些代表性的遗撒物样本，这些样本应该与实际可能在隧道建设中出现的遗撒物相似。在隧道路面不同位置摆放一些遗撒物，尝试从不同角度和距离捕捉遗撒物，以及在不同的光照条件下使用手机支架进行拍摄。

21、方式二：由于遗撒物种类众多，隧道内车流量较大，即使采取现场拍摄的方式也可能疏漏某些类型的遗撒物。因此采取生成伪样本的方式扩充相关遗撒物的数据集，将各类遗撒物贴入隧道背景中，避免威胁到车辆和行人的安全。

22、所述生成伪样本的方式构建遗撒物数据集，具体步骤为：

23、s41.获取各类遗撒物图像，对图像中的遗撒物物体进行抠图，生成包含遗撒物类别信息的json文件；其中json文件存储了图像中目标的位置和其他相关信息，同时包含目标的坐标、类别信息、图像尺寸等重要信息；

24、s42.使用python算法识别并去除图像中的纯色背景，计算非透明区域的外接矩形，确定输出的贴图尺寸，使得贴图紧密地包围着图像中的目标，即遗撒物贴图；

25、去除图像中的纯色背景，使得背景区域变为透明通道，可以提高真实性，确保在后续的使用中，图像不会受到不必要的背景干扰；贴图紧密地包围着图像中的目标，以便在其他隧道场景中进行使用。

26、s43.将隧道场景图像利用labelme进行标注分割，划分出需要贴入遗撒物的区域，通过labelme生成的图像同时包含标注的json文件；将json文件转换为二值化的黑白掩模图，分割图像中的背景地面区域或者后景区域，即隧道背景图；

27、所述的json文件包括了场景中各个区域的详细信息，如坐标和类别；黑白掩模图中，指定贴入遗撒物图像的区域被填充为白色，而其他区域为黑色。

28、s44.将遗撒物贴图插入隧道背景图中，进行图像增强工作，得到综合遗撒物图像，生成综合遗撒物图像数据集。

29、通过增加或减少图像的亮度和对比度，模拟不同光照条件下的隧道场景；调整图像的饱和度和色调，模拟不同时间和天气条件下的颜色变化；向图像中添加随机噪声，模拟真实拍摄条件下可能出现的颗粒感或电子噪声；采用旋转、缩放、平移和翻转等变换，模拟摄像头拍摄到遗撒物的不同视角和距离；使用高斯模糊、中值滤波等方法改变图像的清晰度，或者通过锐化操作增强图像的边缘和细节、在图像中随机遮挡一部分区域，模拟物体部分可见的情况。处理完成后的图像会自动生成相应类别标签的xml文件，只需要检查每张图像中的目标是否出现漏标错标的情况即可。

30、s5：将综合遗撒物图像数据集，利用yolov5模型进行训练，得到隧道路面遗撒物检测模型iii；

31、s6：将货车检测模型i、货车绳索状态检测模型ii和隧道路面遗撒物检测模型iii部署到机器人和固定摄像头中，在执行日常巡检过程中可以进行路面遗撒物的检测。

32、s7：在检测到遗撒物并获取到现场遗撒物图像后，对获取到的图像进行降噪处理和图像增强操作，以提高图像质量和清晰度，使其能够更准确地识别和分析出遗撒物类别。

33、s71：消除图像中的噪点和干扰：采用高斯滤波及中值滤波技术，去除图像中存在的噪声和干扰，提高图像的清晰度和质量，消除可能影响机器人识别和分析的无关信息；

34、s72：增强图像对比度：利用直方图均衡化技术调整图像的灰度级别分布，提高图像的对比度，清晰突出图像中的细节和特征，使得机器人能够更好地识别遗撒物及其特征；

35、s73：锐化处理和尺寸调整：通过对图像进行锐化处理突出图像中遗撒物的边缘和细节，提高图像清晰度，调整图像尺寸使其满足模型输入的要求。

36、s8：通过机器人搭载的激光雷达传感器获取遗撒物所在位置，

37、

38、其中(xrobot,yrobot)是机器人的位置坐标，(xdebris,ydebris)是遗撒物的位置坐标；

39、s9：将处理后的现场遗撒物图像及遗撒物与机器人的距离信息上传至后台，隧道运维人员判别遗撒物大小；

40、若是遗撒物体积较小，则安排机器人利用机械臂和夹具前往清理，同时在隧道内广播播放相关通知，提醒过往车辆注意安全。若是遗撒物体积较大，则通过广播通知过往车辆并前往现场进行清理。遗撒物清除之后，隧道管理人员会更新隧道内的实时监控系统，移除之前标记的遗撒物警告，并通过管理平台再次通过隧道喇叭播放通知，告知驾驶员遗撒物已被清除，道路恢复正常通行。

41、本发明还提出了一种隧道货车遗撒物识别、处置装置，包括传感系统，处理系统、存储系统以及抓取清理系统；传感系统与处理系统通信连接；传感系统和处理系统均与存储系统通信连接，存储系统与抓取清理系统连接。

42、所述的传感系统包括高清摄像头、机器人视觉传感器以及激光传感器；负责捕捉隧道内的实时行车画面和计算定位遗撒物的距离等数据，为整个系统提供原始数据。所述的高清摄像头负责捕捉隧道内的实时行车画面，通过有线或无线网络将拍摄到的图像数据传输到处理系统的图像处理器中；机器人视觉传感器收集车辆类别以及隧道路面遗撒物的视觉信息，传输到图像处理器内，对图像进行去噪等工作，提高图像清晰度，后续放入模型中进行训练，结合隧道内的场景，识别出遗撒物的类型、类别；激光传感器用于计算机器人与遗撒物之间的距离，直接将距离数据传输给处理系统，确保遗撒物的精确定位。

43、所述的处理系统通过内部通信接口接收来自传感系统的图像数据和距离数据，利用存储系统中的历史数据和模型参数分析和识别遗撒物的位置和性质，并将处理结果和更新的模型参数回写到存储系统中。所述的处理系统包括图像处理器、深度学习模型处理器和计算机视觉处理器；图像处理器接收来自高清摄像头的原始图像数据，对这些图像进行预处理，例如去噪、对比度增强、色彩校正等，以提高图像质量，为后续的分析步骤提供清晰的图像数据；深度学习模型处理器利用yolov5模型对图像进行目标检测、利用deepsort目标追踪算法追踪隧道内货车的行驶轨迹；计算机视觉处理器结合图像处理单元和深度学习模型处理器的输出，执行更高级的图像分析和理解任务，它不仅能够识别遗撒物的存在和状况，还能够分析遗撒物的类型、大小和可能的危险性；计算机视觉处理器使用复杂的图像识别和场景理解技术；这些处理器利用深度学习技术(如yolov5目标检测算法、deepsort目标追踪算法等)对捕获的图像进行分析和识别，进一步判断车辆类型、绳索状态以及遗撒物的存在与状况。

44、存储系统负责存储图像数据、模型参数和处理结果，通过高速接口与处理系统相连，为处理系统提供数据支持，确保数据的快速读写和有效管理；所述的存储系统包括图像数据集、模型数据参数以及配置文件数据流；存储系统用于存储大量的图像数据、模型参数和系统配置文件，为机器人提供必要的信息和支撑，保障装置的运行和决策的能力。

45、抓取清理系统根据处理系统提供的遗撒物识别和定位信息执行清理操作，该系统包括机械臂和夹具，通过对机械臂的控制逻辑和反馈机制，高效且准确的完成清理作业。待清理操作完成后，抓取清理系统向处理系统反馈操作结果，确定是否需要进一步的处理。

46、本发明中，隧道内固定摄像头位于高处，结合deepsort算法可以实时关注追踪货车的行驶轨迹。而隧道内壁稍低点的摄像头能够以略低于顶部固定摄像头的的角度结合yolov5算法对过往货车上绳索的绑绳状态进行检测(正常/脱落)。同时，轮式巡检机器人在路面上来回行走进行日常巡检工作，对行驶中的货车由于绑绳脱落导致其遗撒的各类遗撒物进行检测，检测方法采用yolov5模型，检测到遗撒物后，轮式巡检机器人会对遗撒物的位置进行评估，得出与遗撒物的距离大小，将获取到的遗撒物图像及距离上报至后台。运维人员对获取到的信息进行评估，对遗撒物采取合适的处理方式。

47、清理完成后，机器人收集到的遗撒物会等待隧道运维人员前来进行进一步的处理和回收。同时，隧道管理人员会更新隧道内的实时监控系统，移除之前标记的遗撒物警告，并通过管理平台再次通过隧道喇叭播放通知，告知驾驶员遗撒物已被清除，道路恢复正常通行。这种方法结合了deepsort算法对隧道路面上载有货物的货车进行轨迹追踪，通过yolov5目标检测算法对货车上的货绳状态进行识别，判断是否脱落，若脱落机器人则识别隧道路面上掉落的遗撒物，将检测到的相关信息实时上传至机器人平台，并进一步控制机器人进行下一步清理、抓取的操作。

48、与现有技术相比，本发明具有以下有益效果：

49、(1)本发明通过轮式巡检机器人搭配隧道内固定摄像头进行协同工作，利用yolov5和deepsort算法精确追踪隧道内货车的行驶轨迹并识别货车绑绳状态是否正常。对于货车遗落或路面出现的遗撒物，能够通过yolov5算法迅速识别并选择最合适的清理方式，大幅提升了隧道内环境监测和处理的自动化、效率和安全性。

50、(2)本发明能够自动检测货车上绳索的磨损情况和货物是否掉落，极大地提高了检测的准确性和效率。此外，本专利还结合了deepsort目标跟踪算法，能够实时追踪货车的运动轨迹，有助于预防因货物掉落而导致的安全事故。通过图像分析算法提取遗撒物的特征，并计算机器人与遗撒物之间的距离，根据检测到的信息判断是否需要人工进行干预清理。

51、(3)本发明采用了生成伪样本的方法来扩充遗撒物数据集，可以通过模拟不同的隧道场景，扩增遗撒物类型，增强模型对各类遗撒物的识别能力。