基于车载前视影像的驾驶员注意力预测方法及系统

本发明属于驾驶员注意力预测领域，尤其涉及辅助驾驶员观察路况，为自动驾驶信息获取提供专家经验支撑，具体为一种基于车载前视影像的驾驶员注意力预测方法及系统。

背景技术：

1、近年来，自动驾驶系统、车联网等先进驾驶辅助系统推进了智能汽车的发展，促进驾驶体验向更舒适、更安全与更轻松的方向演化。自动驾驶系统是智能汽车重要组成，在私家车、公众交通与物流运输等多个领域有重要的运用前景。完全实现自动驾驶，即达到saej3016《驾驶自动化分级》所定义的第五级（l5），需要有效识别外界的刺激信息。因此，学习人类在驾驶时的视觉注意、聚焦经验与信息预测与跟踪，能够促进自动驾驶系统对驾驶场景的理解与信息的获取。

技术实现思路

1、为克服上述现有技术的不足，本发明提供一种基于车载前视影像的驾驶员注意力预测方法及系统，通过车载前视影像提供的数据支撑，结合深度学习算法，实现了驾驶员注意力的有效预测。

2、根据本发明说明书的一方面，提供一种基于车载前视影像的驾驶员注意力预测方法，包括：

3、基于获取的车载前视影像，进行视觉特征与语义特征提取；

4、基于提取的视觉特征与语义特征，进行视觉特征与语义特征融合；

5、基于融合后的特征，进行时空序列预测与驾驶员注意力生成。

6、作为进一步的技术方案，基于获取的车载前视影像，进行视觉特征提取，包括：

7、对车载前视影像进行分块，并对各分块进行位置编码；

8、计算分块之间的相关度，并根据计算出的相关度的均值得到视觉特征。

9、作为进一步的技术方案，基于获取的车载前视影像，进行语义特征提取，包括：

10、对车载前视影像进行交通环境下的语义分割，得到若干语义图像；

11、将若干所述语义图转换为若干语义节点；

12、对若干所述语义节点进行编码并转换为语义节点邻接矩阵，所述语义节点邻接矩阵与语义节点构成语义图；

13、对所述语义图进行编码，得到语义特征。

14、作为进一步的技术方案，基于提取的视觉特征与语义特征，进行视觉特征与语义特征融合，包括：

15、对提取的视觉特征与语义特征进行哈达玛积，得到融合特征；

16、利用全连接神经网络先降维再升维的方式对所述融合特征进行再提取，得到再提取的融合特征；

17、将再提取的融合特征与视觉特征相加，得到最终的融合特征。

18、作为进一步的技术方案，基于融合后的特征，进行时空序列预测与驾驶员注意力生成，包括：

19、基于融合后的特征，采用lstm神经网络记忆、推理并生成预测帧的融合特征；

20、将所述预测帧的融合特征解码为驾驶员注意力，并在神经网络监督下，输出满足精度要求的驾驶注意力图。

21、作为进一步的技术方案，所述方法进一步包括：

22、监督预测帧的融合特征生成驾驶员注意力，并将真实的驾驶员注意力作为判别器的真值，循环训练直到驾驶员注意力的生成精度达到预设的精度要求。

23、根据本发明说明书的一方面，提供一种基于车载前视影像的驾驶员注意力预测装置，包括：

24、特征提取模块，用于基于获取的车载前视影像，进行视觉特征与语义特征提取；

25、特征融合模块，用于基于提取的视觉特征与语义特征，进行视觉特征与语义特征融合；

26、预测及生成模块，用于基于融合后的特征，进行时空序列预测与驾驶员注意力生成。

27、作为进一步的技术方案，所述装置还包括：监督模块，用于监督驾驶员注意力生成，并进行循环训练直到驾驶员注意力的生成精度达到预设要求。

28、根据本发明说明书的一方面，提供一种电子设备，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行所述的方法。

29、根据本发明说明书的一方面，提供一种非暂态计算机读存储介质，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述的方法。

30、与现有技术相比，本发明的有益效果在于：

31、本发明针对驾驶员注意力与交通场景的多变性，提出一种基于车载前视影像的驾驶员注意力预测方法，该方法采用深度学习框架，通过车载前视影像提取颜色、纹理等视觉特征及道路、行人、车辆与交通设施等语义特征；通过结合视觉特征与语义特征获得融合特征，映射车载前视影像对驾驶员注意力的吸引要素；通过对多帧的融合特征进行记忆、推理，获得预测帧的融合特征，并解码预测帧的融合特征与使用生成对抗神经网络监督获得驾驶员注意力。

32、本发明实现了快速识别时序图像关键信息，有助于设计自动驾驶任务、优化视觉场景理解和提供决策知识。

技术特征：

1.基于车载前视影像的驾驶员注意力预测方法，其特征在于，包括：

2.根据权利要求1所述基于车载前视影像的驾驶员注意力预测方法，其特征在于，基于获取的车载前视影像，进行视觉特征提取，包括：

3.根据权利要求1所述基于车载前视影像的驾驶员注意力预测方法，其特征在于，基于获取的车载前视影像，进行语义特征提取，包括：

4.根据权利要求1所述基于车载前视影像的驾驶员注意力预测方法，其特征在于，基于提取的视觉特征与语义特征，进行视觉特征与语义特征融合，包括：

5.根据权利要求1所述基于车载前视影像的驾驶员注意力预测方法，其特征在于，基于融合后的特征，进行时空序列预测与驾驶员注意力生成，包括：

6.根据权利要求5所述基于车载前视影像的驾驶员注意力预测方法，其特征在于，所述方法进一步包括：

7.基于车载前视影像的驾驶员注意力预测装置，其特征在于，包括：

8.根据权利要求7所述基于车载前视影像的驾驶员注意力预测装置，其特征在于，所述装置还包括：监督模块，用于监督驾驶员注意力生成，并进行循环训练直到驾驶员注意力的生成精度达到预设要求。

9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至6任一项权利要求所述的方法。

10.一种非暂态计算机读存储介质，其特征在于，所述非暂态计算机读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至6中任一项权利要求所述的方法。

技术总结本发明公开一种基于车载前视影像的驾驶员注意力预测方法及系统，方法包括：提取车载前视影像的颜色、纹理等视觉特征；提取车载前视影像的语义特征，包括道路、行人、车辆与交通设施等；结合视觉特征与语义特征获得融合特征，映射车载前视影像对驾驶员注意力的吸引要素；对多帧的融合特征进行记忆、推理，获得预测帧的融合特征，并解码预测帧的融合特征与使用生成对抗神经网络监督获得驾驶员注意力。本发明实现快速识别时序图像关键信息，有助于设计自动驾驶任务、优化视觉场景理解和提供决策知识。技术研发人员：应申,杨皓然,苏俊如,何山,曾卓源受保护的技术使用者：武汉大学技术研发日：技术公布日：2024/9/9