一种无信号斑马线人车交互风险警示方法及系统

本发明涉及车辆与行人交互时的风险警示，具体是一种无信号斑马线人车交互风险警示方法及系统。

背景技术：

1、在三维世界当中，物体之间的相互遮挡导致图像无法记录物体的全貌，是机器视觉系统在场景理解时的主要障碍。当前的深度学习感知算法已经取得了显著的进步，但是他们只能识别部分遮挡的物体，仍然无法较好地解决物体被完全遮挡的问题，尤其在现有技术条件下，无法避免被完全遮挡情况下的行人事故。

2、在城市道路上，中间路段上无信号斑马线是行人过马路的常见场所。然而，过马路的行人往往会被该无信号斑马线附近路边停放的车辆、路中间的绿化带以及路边建筑等完全遮挡而看不到接近斑马线的车辆，同时，车辆驾驶人也无法看到过街行人，在这种情况下，当车辆接近无信号斑马线时容易发生严重的交通事故。因此，对接近无信号斑马线的车辆驾驶人和过马路行人进行及时且有效的警示显得至关重要。

3、基于此，本发明旨在提供一种无信号斑马线人车交互风险警示方法及系统，解决因视线遮挡无法有效预警的问题。

技术实现思路

1、为了弥补现有技术问题的不足，本发明的目的在于提供一种无信号斑马线人车交互风险警示方法及系统，通过采集和处理无信号斑马线周围环境、车辆和行人的数据，可以高效地检测和识别行人状态，据此进行预警，减少接近无信号斑马线的车辆与过马路行人间因为彼此遮挡而发生事故的可能性。

2、为实现上述目的，本发明提供如下技术方案：

3、一种无信号斑马线人车交互风险警示方法，包括以下步骤：

4、(1)斑马线附近车辆与行人的位置估计

5、实时获取中间路段无信号斑马线周围的视频，对目标车辆和目标行人进行检测、跟踪，根据目标检测和跟踪的结果，估计车辆和行人在图像中的精确位置，再将二者的位置从图像坐标转换为实际世界坐标；

6、(2)利用深度学习的神经网络识别中间路段无信号斑马线附近行人状态

7、利用cnn的卷积层和池化层提取视频中行人行为空间特征和行人运动特征，将行人运动特征和池化层输出的行人行为主要特征融合，同时输入到lstm层中，识别行人的行为状态；

8、(3)人车交互风险等级划分

9、根据车辆与行人的位置变化及其变化时间计算出车辆前保险杠距冲突点的距离、车辆的停车视距，以及最小瞬时碰撞时间，根据车辆前保险杠距冲突点的距离与车辆的停车视距之间的比较关系以及最小瞬时碰撞时间来划分车辆与行人交互风险的等级；

10、(4)风险警示装置向车辆和过马路行人发出风险警告

11、根据步骤(1)估计到的车辆和行人位置和步骤(2)识别出的行人状态，若行人的状态为过马路且交互风险在步骤(3)所划分的风险等级范围内，则触发警报系统来警告车辆和行人；若识别出的行人状态为在人行道上直行或者无人，则警告系统不发出警告。

12、本发明使用轻量级网络efficientnev2检测图像中斑马线附近的目标车辆和目标行人。

13、本发明通过使用mean-shift目标跟踪算法来跟踪车辆和行人，该算法是一种非参数的聚类和图像分割方法，通过迭代寻优来找到数据集中的局部最大值或概率密度最大值以定位目标。

14、本发明的深度学习的神经网络包括：

15、输入层：将摄像头所记录的行人视频图像实时传输到网络中；

16、特征提取层：包含行人运动特征的提取与cnn的卷积层和池化层；

17、特征融合层：将行人运动特征和池化层输出的行人行为主要特征融合，进行扁平化处理，即统一转换为一维向量，然后同时输入到lstm层中；

18、全连接层：通过遗忘门，决定应该被神经元遗忘的行人行为信息，其次通过输入门决定应该被神经元保存的行人行为信息，在遗忘相应行人行为信息和更新候选信息后，通过输出门输出所需的行人行为信息特征；

19、输出层：输出当前时刻的行人行为的具体识别结果。

20、本发明中车辆与行人交互风险的等级的具体划分结果如下：

21、若d≥d0且mttc＞3s时，为低级交互风险；

22、若d≥d0且mttc∈(1.5，3]s时，为中级交互风险；

23、若d≥d0且mttc∈(0，1.5]s时，为高级交互风险；

24、若d＜d0且mttc＞3s时，为低级交互风险；

25、若d＜d0且mttc∈(1.5，3]s时，为中级交互风险；

26、若d＜d0且mttc∈(0，1.5]s时，为高级交互风险。

27、具体的警示内容如下：

28、d≥d0：警告车辆停车让行

29、若d≥d0且mttc＞3s时，led显示屏对车辆发出蓝色警告文字，同时警示装置中的文字以1hz的频率闪烁；

30、若d≥d0且mttc∈(1.5，3]s时，led显示屏对车辆发出橙色警告文字，同时警示装置中的文字以5hz的频率闪烁；

31、若d≥d0且mttc∈(0，1.5]s，led显示屏对车辆发出级红色警告文字，同时警示装置中的文字以10hz的频率闪烁；

32、d＜d0：警告行人停止过马路

33、若d＜d0且mttc＞3s时，led显示屏对行人发出蓝色警告文字，同时警示装置中的文字以1hz的频率闪烁；

34、若d＜d0且mttc∈(1.5，3]s时，led显示屏对行人发出橙色警告文字，同时警示装置中的文字以5hz的频率闪烁；

35、若d＜d0且mttc∈(0，1.5]s时，led显示屏对行人发出红色警告文字，同时警示装置中的文字以10hz的频率闪烁。

36、一种无信号斑马线人车交互风险警示系统，包括：

37、图像提取设备：用于提取斑马线周围驾驶场景图像和行人运动图像的摄像头、激光雷达、超声波传感器；

38、处理器：进行数据处理；

39、存储器：存储用于识别行人状态的卷积神经网络和长短期记忆网络模型，并存储用于判断车辆与行人之间交互风险的过程；

40、led显示屏：用于向车辆和过马路行人发出风险警告。

41、与现有技术相比，本发明的有益效果是：

42、(1)本发明通过采集和处理无信号斑马线周围环境、车辆和行人的数据，可以高效地检测和识别行人状态，减少接近无信号斑马线的车辆与过马路行人间因为彼此遮挡而发生事故的可能性。

43、(2)本发明对行人行为状态、车辆前保险杠距冲突点的距离、车辆的停车视距以及最小瞬时碰撞时间综合考虑，据此自动触发相应的警报系统，能够对风险进行准确地预测，提高驾驶人通过无信号斑马线的安全意识和反应速度，为驾驶人和过马路行人提供及时的安全支持。

44、(3)本发明通过cnn和lstm方法的结合可以更好地提取和分析行人行为的高维和顺序数据，高维特征进行卷积运算以有效挖掘潜在的行人行为，通过混合池化方法减小过拟合现象和噪声传递，并保留最有用的图片信息，提高识别的准确性。