具有面部识别和惯性测量的驾驶员情绪检测装置及方法与流程

1.本发明涉及车辆驾驶中的智能驾驶辅助技术，具体为一种具有面部识别和惯性测量的驾驶员情绪检测装置及方法。


背景技术：

2.随着汽车的普及，因“路怒症”而引发交通事故的现象屡见不鲜，不良的驾驶情绪易使驾驶员产生不利于驾驶的行为。对驾驶情绪进行检测，并应用到驾驶员提醒与车身控制中，是一种有效降低这些不利情形发生的方法。
3.但是如何获取车辆中驾驶员的情绪，以及目前该情绪是否属于“路怒症”的状态进而对车辆的控制方式调整为更加适配于解决驾驶员路怒症的一种模式，这个方案目前现有技术中尚未有解决方案。


技术实现要素：

4.本发明要解决的技术问题克服现有的缺陷，提供一种具有面部识别和惯性测量的驾驶员情绪检测装置及方法，可通过对驾驶员采用人脸技术的识别和判断，从而判断驾驶员是否处于路怒症状态。
5.为了解决上述技术问题，本发明提供了如下的技术方案：一种结合面部识别和惯性测量单元的驾驶员情绪检测装置，
6.包括近红外相机、远红外相机、可见光相机和近红外补光灯；
7.还包括惯性测量单元、定位模块、gpu模块、4g模块和mcu模块；
8.所述近红外相机、远红外相机和可见光相机均与gpu模块连接；
9.所述惯性测量单元、定位模块、gpu模块、4g模块和近红外补光灯均与mcu模块。
10.作为优选，所述可见光相机为rgb相机。
11.作为优选，所述近红外相机的镜头为近红外带通滤光镜片。
12.作为优选，所述远红外相机的镜头采用锗玻璃镜头。
13.为了解决上述技术问题，本发明提供了如下的技术方案：一种检测装置的检测方法，包括如下步骤：步骤一：通过可见光相机用来捕捉人脸图形数据，使用透皮光学成像技术在图形数据的三色通道中跟踪面部17个独特的感兴趣区域，由原始数据提取的血红蛋白浓度分布图，rgb图层按时间变化的图像，可得到面部血液流动情况可得到的心率、血压、血氧浓度，提供情绪分析的生理指标信息；
14.步骤二：采用近红外相机捕获的人脸表情识别的图形数据作为原始数据，并将驾驶员情绪进行归类；
15.步骤三：采用远红外相机，获取远红外图像用以提取驾驶员脸部温度信息与面部微表情，其中驾驶员脸部温度高低与分布，作为情绪的动态分析数据来源；
16.步骤四：采用惯性测量单元用来检测车身姿态，车身的姿态变化剧烈程度，进而演算路面状况和驾驶员的情绪外化，将车身姿态分析的结果将以前馈形式加入到环境因素
中，姿态稳定性信息也作为情绪度分级的一个参考；
17.步骤五：采用定位模块获取车辆的位置信息、车速和地理位置，进而通过4g模块进行网络通信，从而获取车辆所处地理位置的环境信息；
18.步骤六：结合情绪综合分析算法，以近红外相机所获取的表情为情绪基础，rgb相机和远红外相机获取情绪程度、车速、情绪状态为情绪基础和情绪程度的结合；
19.步骤七：由gpu模块、mcu模块和4g通讯模块三部分组成，其中gpu模块用来处理近红外相机、远红外相机、可见光相机所捕获图形数据，并进行图像识别与分析，mcu模块用来进行车身姿态计算与定位和车速数据获取，将图形处理与情绪分析结果以总线或i/o形式输出。
20.作为优选，所述步骤三中驾驶员脸部热像图中的面部微表情特征点为提取的眉毛、眼角、两侧脸蛋、鼻尖、鼻翼和嘴角下巴处。
21.作为优选，所述近红外补光灯采用恒流调光方式驱动。
22.本发明有益效果：本发明的具有面部识别和惯性测量的驾驶员情绪检测装置及方法由近红外相机、远红外相机、可见光相机、近红外补光灯、惯性测量单元等，通过嵌入式的相关软件算法组成，可结合驾驶员脸部表情、生理指标、面部热像、面部微表情，车速及车速变化率等分析对驾驶员进行情绪度识别；分析完成的数据一方面实时上传至远程服务器，驾驶员可根据情绪分析报告和心理指导建议进行心态调整，此外装置也以can总线或io形式，与车机进行交互，车机可根据这些数据对驾驶员播放实时警醒提示语音，提醒驾驶员平静情绪，专注驾驶，提高交通安全性。
附图说明
23.图1是本发明的安装位置示意图；
24.图2是本发明的模块实体结构示意图；
25.图3是本发明的模块框示图；
26.图4是本发明的方法原理示意图；
27.图5是本发明的面部表情检测示意图一；
28.图6是本发明的面部表情检测示意图二；
29.图7是本发明的情绪判定示意图。
具体实施方式
30.以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
31.本发明提出了一种具有面部识别和惯性测量的驾驶员情绪检测装置及方法，如图3所示，由近红外相机(nirc)、远红外相机(firc)、可见光相机(visc)、近红外补光灯、惯性测量单元、定位模块、gpu模块、mcu模块、4g模块及相应软件等组成，本设备情绪分析方法将结合上述器件所采集的数据进行，设备安装位置如图1所示，相机与补光灯布局如图2所示，
32.现将驾驶情绪的过程做如图4总结，驾驶员情绪的起因多数来自自身性格与生活工作的现状和外部环境等，具体表现成面部表情与生理指标的特征，情绪不同以及自生理性程度最终将表现为驾驶行为的呈现。情绪分析过程将结合生理指标、表情和脸部热像图
进行。
33.其中.可见光相机，该相机为rgb相机，用来捕捉人脸图形数据，使用透皮光学成像(toi)技术，在图形数据的三色通道中跟踪面部17个独特的感兴趣区域(roi)如图5中虚线所示，因皮肤存在透光性，且不同血氧浓度的血红蛋白对光的吸收程度不同，由原始数据提取的血红蛋白浓度分布图，rgb图层按时间变化的图像，可得到面部血液流动情况可得到的心率、血压、血氧浓度等数据，提供情绪分析的生理指标信息，主要反应驾驶员的精神压力状态。
34.近红外相机配合近红外动态补光，可消除环境中的近红外光对成像的影响，以稳定获取驾驶员面部图像。完成图像采集后搭建基于卷积神经网络分类器模型，采集并标注驾驶员人脸图形，形成表情训练集，单种情绪训练集图形数量为20k,最后对分类器模型进行训练和调参，识别准确率可达到98％。
35.参阅图6.远红外相机，其镜头采用锗玻璃镜头，以提升热成像品质，远红外图像用以提取驾驶员脸部温度信息与面部微表情，其中驾驶员脸部温度高低与分布，作为情绪的动态分析数据来源。此外驾驶员脸部热像图中的面部微表情特征点如下图提取了眉毛、眼角、两侧脸蛋、鼻尖、鼻翼、嘴角下巴等处。
36.惯性测量单元，用以传感车身姿态，车身的姿态变化剧烈程度一方面是路面状况的反应，另一方面也驾驶员的情绪外化，车身姿态分析的结果将以前馈形式加入到环境因素中，姿态稳定性信息作为情绪度分级的一个参考。
37.定位模块，该模块获取的位置信息与地速，地理位置可提供的所处地理位置的环境信息，车速与车速变化率是表征驾驶员情绪的重要标志之一。
38.驾驶情绪检测装置，其情绪综合分析算法，以近红外相机所获取的表情为情绪基础，rgb相机和远红外相机获取情绪程度，车速，情绪状态为情绪基础和情绪程度的结合
39.由gpu模块、mcu模块、4g通讯模块三部分组成，其中gpu模块用来处理三台相机所捕获图形数据，并进行图像识别与分析，mcu用来进行车身姿态计算与定位和车速数据获取，将图形处理与情绪分析结果以总线或i/o形式输出。输出结果如图7所示，有8种情绪基调，和每个情绪下的6级情绪度级别。
40.以上为本发明较佳的实施方式，本发明所属领域的技术人员还能够对上述实施方式进行变更和修改，因此，本发明并不局限于上述的具体实施方式，凡是本领域技术人员在本发明的基础上所作的任何显而易见的改进、替换或变型均属于本发明的保护范围。