多模态的驾驶状态检测方法、装置、电子设备及存储介质与流程

本申请涉及驾驶状态监测，具体涉及一种多模态的驾驶状态检测方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、车辆对驾驶员进行监控主要采用dms(driver monitoring system，驾驶员监控系统)技术，通过眼动追踪、面部表情分析等方式监测驾驶员的疲劳、注意力分散、危险行为等，例如驾驶员吸烟、打电话、饮食等行为。当检测到这些现象时，车辆会给予一定的反馈，比如说声音、语音、安全带收紧、仪表、警报等。

2、然而，传统技术中对于驾驶员的监测主要采用的dms技术，监测比较局限，安全性相对不高。

技术实现思路

1、鉴于上述问题，本申请提供了一种多模态的驾驶状态检测方法、装置、设备及计算机可读存储介质，解决了车辆传统驾驶状态监测比较局限，安全性不高的问题，提升了车辆道路行驶的安全性，降低了事故发生概率。

2、根据本申请实施例的一个方面，提供了一种多模态的驾驶状态检测方法，应用于云端，所述方法包括：

3、当车辆处于行驶状态下，接收驾驶员的驾驶状态信息和车辆所处的环境状态信息；

4、对所述驾驶状态信息和所述环境状态信息实时分析处理，以得到分析结果；

5、根据所述分析结果生成控制指令并下发至所述车辆，以控制所述车辆输出车内提醒信息和/或车外提醒信息。

6、在一种可选的示例性实施例中，所述驾驶状态信息包括驾驶员监控状态信息和驾驶员生理参数信息，所述环境状态信息包括车辆周围的图像信息、视频信息、声音信息和距离信息；

7、所述对所述驾驶状态信息和所述环境状态信息实时分析处理，进一步包括：

8、基于深度学习模型对所述驾驶员的驾驶员监控状态信息和驾驶员生理参数信息实时分析处理，以判断所述驾驶员是否存在危险驾驶；以及，

9、基于深度学习模型对所述车辆周围的图像信息、视频信息、声音信息和距离信息进行实时分析处理，以判断所述车辆在预设距离范围内是否存在行人和/或其他车辆。

10、在一种可选的示例性实施例中，所述基于深度学习模型对所述驾驶员的驾驶员监控状态信息和驾驶员生理参数信息实时分析处理，以判断所述驾驶员是否存在危险驾驶，进一步包括：

11、若所述驾驶员监控状态信息指示所述驾驶员的驾驶状态为危险驾驶时，则根据所述驾驶员生理参数信息指示的所述驾驶员的驾驶状态，判断所述驾驶员是否存在危险驾驶；或者，

12、若所述驾驶员生理参数信息指示所述驾驶员的驾驶状态为危险驾驶时，则根据所述驾驶员监控状态信息指示的所述驾驶员的驾驶状态，判断所述驾驶员是否存在危险驾驶。

13、在一种可选的示例性实施例中，所述驾驶员监控状态信息包括眼动状态信息、面部状态信息和头部姿态信息；

14、所述驾驶员生理参数信息包括心率状态信息、血压状态信息和呼吸频率状态信息。

15、在一种可选的示例性实施例中，所述根据所述分析结果生成控制指令并下发至所述车辆，以控制所述车辆输出车内提醒信息和/或车外提醒信息，进一步包括：

16、若所述分析结果表征所述驾驶员存在危险驾驶，且所述车辆在预设距离范围内存在行人和/或其他车辆，则根据所述分析结果生成第一控制指令控制所述车辆输出车内提醒信息和车外提醒信息；

17、若所述分析结果表征所述驾驶员存在危险驾驶，且所述车辆在预设距离范围内不存在行人和/或其他车辆，则根据所述分析结果生成第二控制指令控制所述车辆输出车内提醒信息；

18、其中，所述车内提醒信息为疲劳驾驶提醒信息或者分心驾驶提醒信息，所述车外提醒信息为车外灯光交互提醒信息和/或车外语音提醒信息。

19、在一种可选的示例性实施例中，所述方法还包括：

20、基于分布式存储将所述驾驶状态信息和所述环境状态信息进行数据备份和归档。

21、根据本申请实施例的另一方面，提供了一种多模态的驾驶状态检测方法，应用于车辆端，该方法包括：

22、当车辆处于行驶状态下，检测驾驶员的驾驶状态信息和车辆所处的环境状态信息；

23、将所述驾驶状态信息和所述环境状态信息上传至云端；

24、接收所述云端下发的控制指令，以控制所述车辆输出车内提醒信息和/或车外提醒信息。

25、根据本申请实施例的另一方面，提供了一种多模态的驾驶状态检测装置，所述装置包括：

26、接收模块，用于当车辆处于行驶状态下，接收驾驶员的驾驶状态信息和车辆所处的环境状态信息；

27、分析模块，用于对所述驾驶状态信息和所述环境状态信息实时分析处理，以得到分析结果；

28、控制模块，用于根据所述分析结果生成控制指令并下发至所述车辆，以控制所述车辆输出车内提醒信息和/或车外提醒信息。

29、根据本申请实施例的另一方面，提供了一种电子设备，包括：

30、控制器；

31、存储器，用于存储一个或多个程序，当一个或多个程序被控制器执行时，使得控制器实现上述中的多模态的驾驶状态检测方法。

32、根据本申请实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一项可执行指令，所述可执行指令在多模态的驾驶状态检测装置/设备上运行时，使得多模态的驾驶状态检测装置/设备执行如上所述的多模态的驾驶状态检测方法的操作。

33、在本申请实施例中，多模态的驾驶状态检测方法在车辆处于行驶状态下，云端通过接收车辆检测的驾驶员的驾驶状态信息和车辆所处的环境状态信息，以实现对多种数据信息同时进行接收处理，数据信息处理更加多元；通过驾驶员的驾驶状态信息和车辆所处的环境状态信息多模态融合，能够更准确地分析驾驶员的状态、行为以及车辆周围的环境情况，从而实现更精准的决策和辅助提醒，提高车辆道路行驶的安全性。同时，将检测的驾驶状态信息和环境状态信息通过云端分析反馈，能够减轻车辆本地计算的负担，节约车辆本地计算资源，提高了计算分析能力；最后，根据云端分析结果生成控制指令并下发至车辆，以控制车辆输出车内提醒信息和车外提醒信息，实现车内驾驶员和车外行人的双重提醒，有利于降低事故发生概率，提升车辆道路行驶的安全性。

34、上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特列举本申请的具体实施方式。

技术特征：

1.一种多模态的驾驶状态检测方法，其特征在于，应用于云端，该方法包括：

2.根据权利要求1所述的多模态的驾驶状态检测方法，其特征在于，所述驾驶状态信息包括驾驶员监控状态信息和驾驶员生理参数信息，所述环境状态信息包括车辆周围的图像信息、视频信息、声音信息和距离信息；

3.根据权利要求2所述的多模态的驾驶状态检测方法，其特征在于，所述基于深度学习模型对所述驾驶员的驾驶员监控状态信息和驾驶员生理参数信息实时分析处理，以判断所述驾驶员是否存在危险驾驶，进一步包括：

4.根据权利要求2或3所述的多模态的驾驶状态检测方法，其特征在于，所述驾驶员监控状态信息包括眼动状态信息、面部状态信息和头部姿态信息；

5.根据权利要求2所述的多模态的驾驶状态检测方法，其特征在于，所述根据所述分析结果生成控制指令并下发至所述车辆，以控制所述车辆输出车内提醒信息和/或车外提醒信息，进一步包括：

6.根据权利要求1所述的多模态的驾驶状态检测方法，其特征在于，所述方法还包括：

7.一种多模态的驾驶状态检测方法，其特征在于，应用于车辆端，该方法包括：

8.一种多模态的驾驶状态检测装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一项可执行指令，所述可执行指令在多模态的驾驶状态检测装置/设备上运行时，使得多模态的驾驶状态检测装置/设备执行如权利要求1至7任意一项所述的多模态的驾驶状态检测方法的操作。

技术总结本申请涉及驾驶状态监测技术领域，公开了一种多模态的驾驶状态检测方法、装置、设备及存储介质，该方法包括：当车辆处于行驶状态下，接收驾驶员的驾驶状态信息和车辆所处的环境状态信息；对驾驶状态信息和环境状态信息实时分析处理，以得到分析结果；根据分析结果生成控制指令并下发至车辆，以控制车辆输出车内提醒信息和/或车外提醒信息。应用本申请的技术方案，能够解决车辆传统驾驶状态监测比较局限，安全性不高的问题，提升了车辆道路行驶的安全性，降低了事故发生概率。技术研发人员：罗宇兴,邓力,牟冠男,冯长,段文平,韩晓聪,徐海受保护的技术使用者：重庆赛力斯新能源汽车设计院有限公司技术研发日：技术公布日：2024/7/15