行人检测警报方法、系统、装置及轮式装载机与流程

本发明涉及行人检测警报方法、系统、装置及轮式装载机，属于工程机械。

背景技术：

1、施工安全是工程机械在作业时的重点注意事项。轮式装载机进行土方作业时，铲斗前方对司机来说是视野盲区。目前工程机械行业中装载机的防撞系统（如倒车雷达）可以解决但车辆后方视野的问题，但无法解决铲斗前方的车辆视野盲区问题。且装载机的铲斗体积过大，当铲斗抬起时，装载机司机无法看见铲斗下方的人员情况。铲斗落下时，司机也可能因为施工现场环境复杂而无法准确识别场地人员走动情况，容易发生碾压、误将人员铲起等安全生产事故。所以在复杂的施工环境下，如果有人进入铲斗前方而未被装载机司机发现，就会造成人身伤害。

2、现有技术中，装载机等土方机械的防撞装置一般安装在车辆后方。当倒车雷达识别出后方有人或车辆时，会发出警报提醒司机刹车。

3、目前装载机等土方机械等车辆的前方没有相关自动识别装置，一般只依靠司机视觉判断。由于铲斗体积较大，铲斗在落下的时候，司机无法看见铲斗前方以及下方的情况，属于安全盲区。此时如果车辆前方站着人，加上现场环境恶劣嘈杂，司机无法发现前方有人，人可能无法及时发现正在行驶过来的车并躲避，从而造成伤害事故。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供行人检测警报方法、系统、装置及轮式装载机，在前桥和驾驶室顶棚部位设置摄像头，当铲斗抬起时由前桥上的摄像头识别整车前方有无人员存在，当铲斗落下时由铲斗上方的摄像头识别司机无法看到的铲斗前的盲区。

2、为解决上述问题，本发明通过以下技术方案实现：

3、第一方面，公开了行人检测警报方法，包括：

4、获取拍摄到的行人目标图像；所述行人目标图像包括从所述移动物前桥位置和驾驶室顶棚位置进行拍摄得到的；

5、将所述目标图像输入预先训练好的行人检测模型中，得到行人在目标图像中的目标图像位置信息；

6、根据所述行人在目标图像中的目标图像位置信息，确定行人的实际位置信息；

7、根据所述行人的实际位置信息，确定行人与移动物之间的距离，当距离小于预设距离阈值时，则发出警报。

8、可选的，所述行人检测模型基于pytorch构建yolov5模型，并用行人目标图像对所述yolov5模型进行训练，得到训练好的行人检测模型。

9、可选的，所述行人检测模型包括卷积层、归一化层和激活函数层；所述卷积层用于对目标图像进行特征提取得到特征参数；所述归一化层用于将特征参数归一化得到归一化后的特征参数；所述激活函数层用于对归一化后的特征参数进行计算，得到目标图像对应的特征图。

10、可选的，所述方法还包括：当距离大于预设距离阈值时，获取拍摄到的历史图像，以获取行人在历史图像中的历史图像位置信息；

11、根据历史图像位置信息和目标图像位置信息，确定移动物与行人之间的相对运动趋势；

12、根据相对运动趋势确定移动物与行人是否存在碰撞风险，若存在碰撞风险，则发生警报。

13、第二方面，公开了行人检测警报系统，所述系统包括：

14、信息获取模块，用于获取拍摄到的行人目标图像；

15、处理模块，用于将所述目标图像输入预先训练好的行人检测模型中，得到行人在目标图像中的目标图像位置信息；

16、位置确定模块，用于根据所述行人在目标图像中的目标图像位置信息，确定行人的实际位置信息；

17、警示模块，用于根据所述行人的实际位置信息，确定行人与物体之间的距离，当距离小于预设距离阈值时，则发出警报。

18、可选的，所述系统还包括：

19、当距离大于预设距离阈值时，获取拍摄到的历史图像，以获取行人在历史图像中的历史图像位置信息；

20、根据历史图像位置信息和目标图像位置信息，确定移动物与行人之间的相对运动趋势；

21、根据相对运动趋势确定移动物与行人是否存在碰撞风险，若存在碰撞风险，则发生警报。

22、第三方面，公开了一种行人检测警报装置，包括至少两个图像获取装置、警报装置和屏幕；

23、图像获取装置其一安装在移动物的前桥位置，另一安装在移动物的顶部，图像获取装置将获取的图像采用第一方面所述的方法进行检测，检测的警报结果通过屏幕显示并通过警报装置发出警报。

24、可选的，两个所述图像获取装置，任意一个拍摄的行人目标图像，采用第一方面所述的方法进行检测判断出行人与移动物之间的距离小于预设距离阈值时，均通过警报装置发出警报。

25、可选的，两个所述图像获取装置采用摄像头。

26、第四方面，公开了一种轮式装载机，包括第三方面所述的行人检测警报装置，所述装置安装在轮式装载机的前端。

27、与现有技术相比，本发明所达到的有益效果：

28、本发明通过确认目标图像中行人的目标图像位置信息，得到行人的实际位置信息，再根据实际位置信息确定行人与装载机之间的距离，当距离小于预设距离时，生成告警信息警示装载机的作业区存在行人，使得装载机能及时采取措施避免发生安全性事件，弥补了铲斗升降时司机的视野盲区，提高了装载机作业时的安全性；

29、本发明通过在装载机的前桥和顶棚位置各安装一台摄像头，两台摄像头通过相互补充的方式同时进行行人检测，确保装载机在执行作业任务时铲斗升降过程中，铲斗上下方的行人都可以被检测到。

技术特征：

1.一种行人检测警报方法，其特征在于，包括：

2.根据权利要求1所述的行人检测警报方法，其特征在于，所述行人检测模型基于pytorch构建yolov5模型，并用行人目标图像对所述yolov5模型进行训练，得到训练好的行人检测模型。

3.根据权利要求2所述的行人检测警报方法，其特征在于，所述行人检测模型包括卷积层、归一化层和激活函数层；所述卷积层用于对目标图像进行特征提取得到特征参数；所述归一化层用于将特征参数归一化得到归一化后的特征参数；所述激活函数层用于对归一化后的特征参数进行计算，得到目标图像对应的特征图。

4.根据权利要求1所述的行人检测警报方法，其特征在于，所述方法还包括：当距离大于预设距离阈值时，获取拍摄到的历史图像，以获取行人在历史图像中的历史图像位置信息；

5.一种行人检测警报系统，其特征在于，所述系统包括：

6.根据权利要求5所述的行人检测警报系统，其特征在于，所述系统还包括：

7.一种行人检测警报装置，其特征在于，包括至少两个图像获取装置、警报装置和屏幕；

8.根据权利要求7所述的行人检测警报装置，其特征在于，两个所述图像获取装置，任意一个拍摄的行人目标图像，采用权利要求1-4所述的方法进行检测判断出行人与移动物之间的距离小于预设距离阈值时，均通过警报装置发出警报。

9.根据权利要求7所述的行人检测警报装置，其特征在于，两个所述图像获取装置采用摄像头。

10.一种轮式装载机，其特征在于，包括权利要求7所述的行人检测警报装置，所述装置安装在轮式装载机的前端。

技术总结本发明公开了行人检测警报方法、系统、装置及轮式装载机，属于工程机械技术领域，其包括获取拍摄到的行人目标图像；所述行人目标图像包括从所述移动物前桥位置和移动物前桥和驾驶室顶棚两个位置进行拍摄；将所述目标图像输入预先训练好的行人检测模型中，得到行人在目标图像中的目标图像位置信息；根据所述行人在目标图像中的目标图像位置信息，确定行人的实际位置信息；根据所述行人的实际位置信息，确定行人与移动物之间的距离，当距离小于预设距离阈值时，则发出警报，应用于轮式装载机的作业过程对外部人员的安全问题。本发明使得装载机能及时采取措施避免发生安全性事件，弥补了铲斗升降时司机的视野盲区，提高了装载机作业时的安全性。技术研发人员：沈雨青,刘建,夏广浩受保护的技术使用者：江苏徐工国重实验室科技有限公司技术研发日：技术公布日：2024/7/29