行人友好的自动驾驶车辆与行人双阶段交互方法及装置

本发明涉及自动驾驶，具体是一种行人友好的自动驾驶车辆与行人双阶段交互方法及装置。

背景技术：

1、现阶段行人与车辆之间的通信主要依赖于隐式通信如车辆运动学及非正式沟通如手势等动作，随着自动驾驶车辆的发展，行人与车辆的交互变得复杂。为了便于自动驾驶车辆与行人之间的交互，显式通信如外部人机界面(ehmi)已经成为众多研究的热点，利用显式通信公布信息代替传统车辆与行人之间的非正式交流，会进一步减少行人对自动驾驶车辆意图的模糊性，提升行人过街时的主观安全感。

2、虽然目前的研究探索了各种显式和隐式的通信效果，但大多集中于在一个单一的时间点上传达自动驾驶车辆的意图，即在车辆进入到人行道前方的一段距离内，受限于交互时间的长度(与冲突点之间距离太短)，影响到行人过街或不过街以及自动驾驶车辆停留还是通过的决策选择，并不能够起到一个很好的沟通效果，影响到交通效率。

3、基于此，本发明旨在提供一种行人友好的自动驾驶车辆与行人双阶段交互方法及装置，提高自动驾驶车辆与行人的沟通效果，提高交通效率。

技术实现思路

1、为了弥补现有技术问题的不足，本发明的目的在于一种行人友好的自动驾驶车辆与行人双阶段交互方法及装置，自动驾驶车辆在车道前方的第一交互区、第二交互区根据行人的过街情况以及过街意图给出相应交互信息，利用第一交互区传递的交互信息，提醒行人做出决策，提高交通效率，在第二交互区中除了传递信息指导行人是否过街外，还会采取相应驾驶策略保证行人过街的安全性。

2、本发明的技术方案如下：

3、一种行人友好的自动驾驶车辆与行人双阶段交互方法，包括以下步骤：

4、(1)对交叉口或供行人穿行的无信号灯无斑马线路段进行区域划分，包括横穿车道的行人过街区，准备进入行人过街区的行人等候区；在进入行人过街区的前方车道上测划出第一交互区、第二交互区，第一交互区、第二交互区、行人过街区依次相邻；

5、(2)利用由车载前置zed双目相机和车身传感器组成的感知模块获取交叉口或供行人穿行的无信号灯无斑马线路段处的行人运动信息、行人周围环境信息以及车辆状态信息；

6、(3)自动驾驶车辆的决策模块中存储有行人过街意图预测模型，通过行人运动信息、行人周围环境信息以及车辆状态信息对等候区行人的过街意图进行评估；

7、(4)自动驾驶车辆进入到第一交互区后，根据行人运动信息及周围环境信息判断行人过街区是否有行人过街，同时结合行人过街意图预测模型判断等候区行人的过街意图；根据行人的过街情况或过街意图，给出相应的交互信息；

8、(5)自动驾驶车辆进入到第二交互区后，根据行人运动信息及周围环境信息判断行人过街区是否有行人过街，同时结合行人过街意图预测模型判断等候区行人的过街意图；根据行人的过街情况或过街意图，给出相应的驾驶决策以及交互信息。

9、本发明中行人过街意图预测模型包括yolov5目标检测模块、基于深度信息改进的deepsort行人跟踪模块、用于提取行人姿态信息的hrnet模块、预测行人周围环境信息的st-gcn模块、基于seq-seq的lstm模块。

10、利用行人过街意图预测模型判断等候区行人的过街意图的具体步骤如下：

11、(1)将zed双目相机拍摄行人二维rgb图像输入到yolov5目标检测模块中，使用yolov5目标检测模块对rgb图像中行人进行识别，实时获取2d行人检测框，且根据zed双目相机的点云输出模式，在点云图像上获得行人与车辆的绝对距离；

12、(2)将获得的行人检测框和距离信息输入进基于深度信息改进的deepsort行人跟踪模块中，进行目标匹配与跟踪，得到匹配的行人id检测框信息；

13、(3)通过前一段时间内跟踪到的行人id检测框信息，利用hrnet模块进行行人姿态信息的提取，并结合st-gcn模块预测行人周围环境信息，同时通过传感器获取车辆状态信息，将行人姿态信息、行人周围环境信息、车辆状态信息一并输入基于seq-seq的lstm编码器模块中，基于seq-seq的lstm模块加入有attention机制构成编码器、解码器模块，最后将融合后的信息输入解码器模块，经过softmax层判断下一段时间内的行人是否具备过街意图。

14、本发明中车辆进入到第一交互区后，根据行人的过街情况或过街意图，给出相应的交互信息：

15、(1)车辆检测到前方道路行人正在过街或行人有过街意图，车辆进行主动俯仰运动的纵向隐式通信，同时将车辆意图信息投影到地面，并利用车辆格栅处的外部人机界面(ehmi)向行人传达此刻过街安全；

16、(2)车辆检测到前方道路无行人或行人无过街意图，车辆利用格栅处的ehmi展示车辆行驶状态。

17、本发明中车辆进入第二交互区后驾驶策略：

18、(1)如果前方道路无行人或行人无过街意图，车辆加速通行；

19、(2)如果前方道路行人正在过街，车辆刹车至停止；

20、(3)如果前方道路行人有过街意图，车辆以相对低速行驶。

21、本发明中车辆进入到第二交互区后，根据行人的过街情况或过街意图，给出相应的交互信息：

22、(1)车辆检测到前方道路无行人或行人无过街意图，车辆利用格栅处的ehmi展示车辆行驶状态；

23、(2)车辆检测到前方道路行人正在过街，利用格栅处的ehmi向行人传达此时过街安全，通过听觉信息告知车辆让行意图信息；

24、(3)车辆检测到前方道路行人有过街意图，利用格栅处的ehmi向行人传达此时过街有危险，通过听觉信息告知车辆不让行意图信息。

25、一种行人友好的自动驾驶车辆与行人双阶段交互装置，包括：

26、(1)感知模块，由车载前置zed双目相机和车身传感器组成，共同协作以实现对周围环境的全面感知，包括行人运动信息、行人周围环境信息以及车辆状态信息；

27、(2)决策模块，存储有行人过街意图预测模型，通过接收来自感知模块的信息，判断出行人过街区是否有行人过街、结合行人过街意图预测模型确定等候区行人过街意图，据此给出车辆在第一、第二交互区的相应交互信息和第二交互区的驾驶决策信息，同时信息经决策模块处理后输出给控制模块；

28、(3)控制模块，根据决策模块传达的车辆驾驶决策信息及相应交互信息，向车辆传达相应的加减速驾驶指令，控制车辆进行加速或减速、主动俯仰的隐式通信，并控制通信单元进行显式通信；

29、(4)通信单元，包括安装在车辆前端的投影设备、车辆格栅处的ehmi及车身扬声器设备，根据控制模块传达的显式通信指令，将对应的行驶状态、行人过街风险信息通过ehmi显示，车辆意图信息通过投影设备及扬声器设备传递给行人。

30、与现有技术相比，本发明的有益效果是：

31、1、本发明在行人过街区的前方车道上设有第一交互区、第二交互区，自动驾驶车辆在第一交互区、第二交互区中，其与过街行人以及有意图过街的行人的冲突严重性是不同的，在第一交互区中自动驾驶车辆运动速度不变，其主要是为了提醒行人做出决策(过街行人加快过街，以及有意图的过街行人过街)，提高交通效率；而车辆进行到第二交互区，此时离冲突点距离过短，在考虑交通效率的基础上，更应当优先考虑到交通安全，因此，此时除了针对于过街状况以及过街意图做出相应交互外，指导行人是否过街外，还针对此给出不同驾驶策略，防止意外发生。

32、2、本发明的自动驾驶车辆决策模块中存储有行人过街意图预测模型，利用行人过街意图预测模型将行人过街意图量化，从而针对此，给出相应的交互信号，同时车辆驾驶策略也能够参考行人过街意图，消除自动驾驶车辆与有过街意图行人之间的风险。