一种基于深度图像的行车吊物与人员安全距离检测方法及装置与流程

本发明涉及智慧工厂安全管理，具体的说，涉及了一种基于深度图像的行车吊物与人员安全距离检测方法及装置。

背景技术：

1、在工业制造行业，安全生产非常重要。例如吊车工作过程中非工作人员进入警戒区域会带来严重的安全问题。

2、近年来，神经网络的深度学习模型作为一种新的技术手段， 被广泛地应用于辅助施工现场安全管理工作。施工现场通过图像传感器获取的大量影像资料，可为目标检测算法的训练提供丰富的数据。计算机视觉技术的发展使得利用数字图像技术进行吊车警戒区域安全性的快速识别成为一种可行的方案。例如cn115861867a提供了一种基于显著性目标检测的吊车吊装物体自动跟踪方法，通过对被吊装物体进行实时的跟踪，并且根据对跟踪的物体大小以及高度实时的划定警戒范围，以保证吊装工作人员的安全施工。

3、然而，上述技术方案中，需要另外设置称重传感器来检测吊车是否正在吊装物体，一方面，由于称重传感器多设置在吊钩上，随着吊钩摆动容易磨损；另一方面，行车的车间结构以及重物重量具有多样性，目前小容量称重传感器无法适合任意重量的重物，而大容量的称重传感器自重大；为了克服这一问题，目前已有利用激光雷达测距方式来进行吊装物体的检测，但应用至工业制造行业中时，由于合金和铁等金属较多，容易对激光雷达产生干扰，影响检测结果。

4、且检测过程中，需要后台不停的进行目标检测，计算量大。

5、为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

技术实现思路

1、本发明的目的是针对现有技术的不足，从而提供一种基于深度图像的行车吊物与人员安全距离检测方法及装置。

2、为了实现上述目的，本发明所采用的技术方案是：第一方面提供一种基于深度图像的行车吊物与人员安全距离检测方法，包括以下步骤：

3、获取目标区域的深度图像和三维点云数据；

4、在深度图像中确定吊物感兴趣区域，基于吊物感兴趣区域的深度值判断行车是否启动；

5、当判定行车启动时，通过空间转换网络对吊物感兴趣区域对应的三维点云数据进行处理，获得吊物目标检测框的像素坐标；

6、使用点云二维化处理方法将目标区域的三维点云数据降维为二维图像数据，使用gs-yolov5目标检测模型对二维图像数据进行行人检测，获得行人目标检测框的像素坐标；

7、根据吊物目标检测框的像素坐标与行人目标检测框的像素坐标计算iou值，根据iou值判定是否为安全距离。

8、本发明第二方面提供一种基于深度图像的行车吊物与人员安全距离检测装置，包括：

9、获取模块，用于获取目标区域的深度图像和三维点云数据；

10、行车检测模块，用于在深度图像中确定吊物感兴趣区域，基于吊物感兴趣区域的深度值判断行车是否启动；

11、吊物检测模块，用于在判定行车启动时，通过空间转换网络对吊物感兴趣区域对应的三维点云数据进行处理，获得吊物目标检测框的像素坐标；

12、转换模块，用于使用点云二维化处理方法将目标区域的三维点云数据降维为二维图像数据；

13、行人检测模块，用于使用gs-yolov5目标检测模型对二维图像数据进行行人检测，获得行人目标检测框的像素坐标；

14、安全判定模块，用于根据吊物目标检测框的像素坐标与行人目标检测框的像素坐标计算iou值，在iou值大于预设阈值时判定为安全距离，在iou值小于预设阈值时判定为不安全距离。

15、本发明第三方面提供一种行车吊车，包括深度相机和行车吊物与人员安全距离检测装置，所述深度相机用于采集目标区域的深度图像和三维点云数据；所述行车吊物与人员安全距离检测装置为前述的行车吊物与人员安全距离检测装置，用于基于所述深度相机采集的深度图像和三维点云数据判断行车吊物与人员是否处于安全距离。

16、本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述的行车吊物与人员安全距离检测方法的步骤。

17、本发明第五方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的行车吊物与人员安全距离检测方法的步骤。

18、本发明第六方面一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述的行车吊物与人员安全距离检测方法的步骤。

19、本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明在获取目标区域的深度图像和三维点云数据后，不立马进行目标检测，而是先在深度图像中确定吊物感兴趣区域，基于吊物感兴趣区域的深度值判断行车是否启动，只有在行车启动时，才进行后续的吊物目标检测以及行人目标检测框检测，能够大幅减少目标检测所需的算力；且利用深度相机获取深度图像，可以克服现有需要称重传感器易损耗或者激光雷达测距存在的干扰强的问题。

20、在判定行车启动时，通过空间转换网络对吊物感兴趣区域对应的三维点云数据进行处理，获得吊物目标检测框的像素坐标，空间转换网络的方式可以减少计算量。

21、使用点云二维化处理方法将目标区域的三维点云数据降维为二维图像数据，使用gs-yolov5目标检测模型对二维图像数据进行行人检测，获得行人目标检测框的像素坐标。与直接使用三维点云数据进行目标检测相比，先将三维点云数据降维为二维图像数据，再在二维图像数据基础上进行目标检测，可以实现对行人目标检测框的精准检测。

22、根据吊物目标检测框的像素坐标与行人目标检测框的像素坐标计算iou值，根据iou值判定是否为安全距，从而预判行车吊装重物过程的安全问题，及时高效反馈现场人员。

技术特征：

1.一种基于深度图像的行车吊物与人员安全距离检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度图像的行车吊物与人员安全距离检测方法，其特征在于，基于吊物感兴趣区域的深度值判断行车是否启动时执行以下步骤：

3.根据权利要求1所述的一种基于深度图像的行车吊物与人员安全距离检测方法，其特征在于，通过空间转换网络将吊物目标检测框的三维点云坐标转换为像素坐标时执行以下步骤：

4.根据权利要求1至3任一项所述的一种基于深度图像的行车吊物与人员安全距离检测方法，其特征在于，根据iou值判定是否为安全距离的步骤为：

5.根据权利要求1至3任一项所述的一种基于深度图像的行车吊物与人员安全距离检测方法，其特征在于，根据iou值判定是否为安全距离的步骤为：根据iou值和深度值进行现场换算获取现场距离，比较现场距离与第一预设阈值，在现场距离大于第二预设阈值时判定为安全距离，在现场距离小于第二预设阈值时判定为不安全距离。

6.一种基于深度图像的行车吊物与人员安全距离检测装置，其特征在于，包括：

7.一种行车吊车，其特征在于，包括深度相机和行车吊物与人员安全距离检测装置，所述深度相机用于采集目标区域的深度图像和三维点云数据；所述行车吊物与人员安全距离检测装置为权利要求6所述的行车吊物与人员安全距离检测装置，用于基于所述深度相机采集的深度图像和三维点云数据判断行车吊物与人员是否处于安全距离。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序， 其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

技术总结本发明提供一种基于深度图像的行车吊物与人员安全距离检测方法及装置，包括以下步骤：获取目标区域的深度图像和对应的三维点云数据；在深度图像中确定吊物感兴趣区域，基于吊物感兴趣区域的深度值判断行车是否启动；当判定行车启动时，通过空间转换网络对吊物感兴趣区域对应的三维点云数据进行处理，获得吊物目标检测框的像素坐标；使用点云二维化处理方法将目标区域的三维点云数据降维为二维图像数据，使用GS‑YOLOV5目标检测模型对二维图像数据进行行人检测，获得行人目标检测框的像素坐标；根据吊物目标检测框的像素坐标与行人目标检测框的像素坐标计算IOU值，根据IOU值判定是否为安全距离。技术研发人员：宋贵科,朱朋飞,高梦阳,王珺,皇行涛,高欧阳,杨帅受保护的技术使用者：郑州恒达智控科技股份有限公司技术研发日：技术公布日：2024/9/9