一种多模态交互的新能源汽车控制系统的制作方法

本发明涉及车辆控制系统领域，尤其涉及一种多模态交互的新能源汽车控制系统。

背景技术：

1、在现代汽车工业中，随着智能驾驶辅助系统的快速发展，如何提高驾驶安全性、增强驾驶体验成为了研究和开发的重点；传统的车载人机交互系统主要依靠驾驶员主动输入指令来控制，这在一定程度上提高了操作便利性和行车安全，然而，这些系统往往忽视了驾驶员状态的变化，如疲劳、注意力分散等，这些状态对驾驶安全有着直接影响。

2、查阅相关已公开技术方案，公开号为cn115610349a的技术提出一种基于多模融合的智能交互方法及装置，所述方法通过获取多模态信息，并根据多模态信息生成交互数据，并将交互数据进行输出；其中多模态信息包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合；所述方法通过对车辆本身和用户进行全方位的数据采集，进而生成交互数据，使交互装置能够与用户进行主动交互，解决了车载人机交互系统无法对多维度用户及车辆信息进行有效融合的问题，使车载人机交互系统能够主动为用户提供符合当前需求的交互服务；但该方案并不能直接评估和响应驾驶员的疲劳与专注度水平，缺少了针对驾驶员状态的实时监测与安全干预措施。

技术实现思路

1、本发明的目的在于，针对目前所存在的不足，提出了一种多模态交互的新能源汽车控制系统。

2、本发明采用如下技术方案：

3、一种多模态交互的新能源汽车控制系统，所述系统包括信息捕捉模块、姿态调整模块、疲劳监测模块和专注度监测模块；

4、所述信息捕捉模块用于获取行车过程中的关键信息；所述姿态调整模块基于信息捕捉模块获取的信息识别驾驶员身份，并根据驾驶员身份调整车内驾驶设置；所述疲劳监测模块基于信息捕捉模块获取的信息评估驾驶员的疲劳程度，并根据驾驶员的疲劳程度采取相应措施；所述专注度监测模块基于信息捕捉模块获取的信息以及驾驶员的疲劳程度，综合评估驾驶员当前的驾驶专注度；

5、所述信息捕捉模块获取的行车过程中关键信息包括驾驶位置图像信息和车辆外部图像信息；

6、所述姿态调整模块包括驾驶员识别单元和驾驶设置数据库；所述驾驶员识别单元用于使用信息捕捉模块获取的驾驶位置图像信息通过面部识别技术识别驾驶员身份，所述驾驶设置数据库内存储有预设的与驾驶员身份对应的驾驶设置；所述驾驶设置包括座椅位置、角度和方向盘高度；

7、所述驾驶设置数据库中存储的驾驶设置可预先通过用户的个性化设置获取；

8、进一步的，所述疲劳监测模块包括眼部监测单元、面部监测单元、头部姿态监测单元、计时单元和综合评估单元；所述眼部监测单元用于监测和分析驾驶员的眼部活动，所述面部监测单元用于监测和分析驾驶员的面部活动，所述头部姿态监测单元用于监测驾驶员头部位置和姿态，所述计时单元用于记录驾驶员的连续驾驶时间，所述综合评估单元用于综合上述各监测单元和计时单元中信息综合评估驾驶员的疲劳程度；

9、进一步的，所述眼部监测单元通过以下方式监测分析驾驶员的眼部活动：

10、s11：获取连续帧的驾驶位置图像信息；

11、s12：在驾驶位置图像信息中定位截取驾驶员眼部区域图像；

12、s13：设定采集周期，在采集周期内通过比较连续帧驾驶员眼部区域图像的变化，识别采集周期内的眨眼动作，统计眨眼次数；

13、s14：根据采集周期内的眨眼次数和采集周期的时间长度计算当前采集周期的眨眼频率；

14、进一步的，所述面部监测单元通过以下方式监测分析驾驶员的面部活动：

15、s21：获取连续帧的驾驶位置图像信息；

16、s22：在驾驶位置图像信息中定位截取驾驶员面部区域图像；

17、s23：设定采集周期，在采集周期内通过比较连续帧驾驶员面部区域图像的变化，识别采集周期内的打哈欠动作，统计打哈欠次数；

18、s24：根据采集周期内的打哈欠次数和采集周期的时间长度计算当前采集周期的打哈欠频率；

19、进一步的，所述头部姿态监测单元通过以下方式监测驾驶员头部位置和姿态：

20、s31：获取连续帧的驾驶位置图像信息；

21、s32：在驾驶位置图像信息中定位截取驾驶员头部区域图像；

22、s33：设定采集周期，在采集周期内通过比较连续帧驾驶员头部区域图像的变化，通过采集周期内驾驶员头部区域图像与预设的头部区域位置图像之间的偏差识别驾驶员头部的偏移，并统计采集周期内的头部偏移时间；

23、s34：根据采集周期内的头部偏移时间和采集周期的时间长度计算当前采集周期的头部偏移时间占比；

24、进一步的，所述综合评估单元通过结合驾驶员的连续驾驶时间、采集周期内的驾驶员眨眼频率、打哈欠频率和头部偏移时间占比完成对于驾驶员疲劳程度的评估。

25、本发明所取得的有益效果是：

26、本发明通过整合眼部活动、面部表情、头部姿态和驾驶行为等多维度信息，为驾驶员提供了一个全面的疲劳与专注度监测，确保评估结果的全面性和准确性；通过实时监测和动态评估，系统能够准确识别驾驶员的疲劳状态，并采取适当的安全措施，可有效预防可能由此引起的安全事故。

技术特征：

1.一种多模态交互的新能源汽车控制系统，其特征在于，所述系统包括信息捕捉模块、姿态调整模块、疲劳监测模块和专注度监测模块 ；

2.根据权利要求1所述的一种多模态交互的新能源汽车控制系统，其特征在于，所述疲劳监测模块包括眼部监测单元、面部监测单元、头部姿态监测单元、计时单元和综合评估单元；所述眼部监测单元用于监测和分析驾驶员的眼部活动，所述面部监测单元用于监测和分析驾驶员的面部活动，所述头部姿态监测单元用于监测驾驶员头部位置和姿态，所述计时单元用于记录驾驶员的连续驾驶时间，所述综合评估单元用于综合上述各监测单元和计时单元中信息综合评估驾驶员的疲劳程度。

3.根据权利要求2所述的一种多模态交互的新能源汽车控制系统，其特征在于，所述眼部监测单元通过以下方式监测分析驾驶员的眼部活动：

4.根据权利要求2所述的一种多模态交互的新能源汽车控制系统，其特征在于，所述面部监测单元通过以下方式监测分析驾驶员的面部活动：

5.根据权利要求2所述的一种多模态交互的新能源汽车控制系统，其特征在于，所述头部姿态监测单元通过以下方式监测驾驶员头部位置和姿态：

6.根据权利要求2所述的一种多模态交互的新能源汽车控制系统，其特征在于，所述综合评估单元通过结合驾驶员的连续驾驶时间、采集周期内的驾驶员眨眼频率、打哈欠频率和头部偏移时间占比完成对于驾驶员疲劳程度的评估。

技术总结本发明提供了一种多模态交互的新能源汽车控制系统，所述系统包括信息捕捉模块、姿态调整模块、疲劳监测模块和专注度监测模块；所述信息捕捉模块用于获取行车过程中的关键信息；所述姿态调整模块基于信息捕捉模块获取的信息识别驾驶员身份，并根据驾驶员身份调整车内驾驶设置；所述疲劳监测模块基于信息捕捉模块获取的信息评估驾驶员的疲劳程度，并根据驾驶员的疲劳程度采取相应措施；所述专注度监测模块基于信息捕捉模块获取的信息以及驾驶员的疲劳程度，综合评估驾驶员当前的驾驶专注度；本发明通过多维度监测和分级响应机制，能够有效地提升行车安全，同时优化驾驶体验。技术研发人员：何亮,肖人杰,杜蕊佃受保护的技术使用者：深圳壁虎新能源汽车科技有限公司技术研发日：技术公布日：2024/7/4