基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统

1.本发明属于疲劳驾驶检测技术领域，尤其涉及基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统。


背景技术：

2.疲劳驾驶是指由于驾驶人超强度、长时间的开车，因体力消耗过大造成反应和操控水平降低，进而影响驾驶操作的情况。由于司机全靠注意力来处理感知到的路况，情境意识对于驾驶显得至关重要，长时间的连续行车是造成疲劳驾驶的主要原因，会导致驾驶员的生理机能出现衰退，同时心理机能也会出现失调，客观上表现为反应时间明显延长，操控不灵活。
3.因日益严峻的道路交通安全形势带来的现实压力以及在避免交通安全事故中的重要作用和巨大的商业价值，疲劳驾驶检测技术倍受国内外科研人员以及相关企业的关注，并进行了深入的研究。目前对于司机疲劳驾驶检测方法分主要为四类，即基于面部特征的疲劳状态识别方法，基于车辆行驶信息的疲劳检测方法，基于生理特征的疲劳状态识别方法，基于多元信息融合的疲劳检测方法。
4.目前大多数疲劳驾驶检测方法根据单一特征建立模型，但是驾驶员疲劳现象是多种因素相互作用的结果，这些因素之间有着复杂的关系。导致提出的疲劳驾驶检测方法准确率不高，泛化性能较差，鲁棒性较低。基于单一疲劳特征的深度学习通常不足以判断疲劳的发生，尤其是通过外观进行观察来判断往往落后于疲劳真正发生的时间，且容易被伪装导致判断错误。基于深度学习的疲劳驾驶检测方法研究需要大量的数据作为研究基础，目前并未出现大量与疲劳驾驶检测方法研究相关的数据集，这给基于多特征融合和深度学习的疲劳驾驶检测方法的研宄带来了限制。目前大多数疲劳驾驶检测方法都只对数据进行了静态分析，忽略了数据的时序特性和上下文信息，导致所建立的疲劳驾驶检测方法精度低，在实际应用过程中效果较差。驾驶员面部早期疲劳特征难以检测，导致驾驶辅助系统无法及时识别驾驶员准确疲劳状态。以及当前可穿戴心率生理信号设备需要接触具有一定侵扰性的问题，影响驾驶员正常操作。


技术实现要素：

5.针对现有技术不足，本发明的目的在于提供了基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，通过采集视频图像，采用深度学习方法提取并融合面部行为特征和rppg心率特征，进行驾驶疲劳识别。该方法能够结合多特征疲劳的时序性及上下文信息设计基于lstm网络融合模型完成对司机疲劳状态实时监测。该方法相比于单一特征检测模型，准确率较高，泛化性能较强，可靠性较高。提取出面部行为疲劳特征及rppg心率疲劳特征，该系统单一依靠面部视频进行多特征融合疲劳检测具有非接触、无侵扰等优势。
6.本发明提供如下技术方案：基于面部多模态深度学习的疲劳驾驶视觉检测系统，包括控制器，控制器电性连
接有摄像机和机械模块，控制器设有数据处理模块、数据存储模块、报警模块；控制器通过串口通信的方式连接有摄像机，所述摄像机拍摄驾驶人员的照片传输至控制器，通过数据处理模块对拍摄的图像帧进行处理，提取出来自面部视频中的心率及面部行为的疲劳特征，然后融合心率特征及其变异性特征与面部行为特征进行疲劳状态分类判定；面部行为特征包括眼部信号特征、嘴部信号特征、头部信号特征，分别对眼部信号特征、嘴部信号特征、头部信号特征、ecg心率特征进行特征提取，生成对抗网络模型需要数据集驱动训练，数据集为所采集的人脸图像帧与对应的标签ecg心率信号，综合判定其疲劳程度。
7.优选的，所述机械模块设置在方向盘本体上，通过设置的机械模块检测方向盘本体的运动状态和受压力状态，在结合面部特征信息和心率特征信息综合判定疲程度；所述机械模块包括方向盘本体，所述方向盘本体连接有转向杆，所述方向盘本体与转向杆连接处设有转向块，所述转向块与方向盘本体固定连接。
8.优选的，所述转向杆延伸至固定台内，所述固定台与车体的中控台为一体结构，所述固定台与转动块对应设置，所述固定台靠近转动块的一侧表面均匀设有多个第一压电片，多个所述第一压电片呈环形结构分布，所述转动块靠近固定台的一侧设有多个拨动块，多个所述拨动块在转动块的侧面呈环形分布，所述拨动块与第一压电片相对应设置，拨动块能够拨动第一压电片振动。
9.优选的，每两个所述第一压电片之间均设有第一弹性体，所述第一弹性体在多个第一压电片之间构成环形结构，所述第一弹性体包括第一管体，所述第一管体为弧形结构，所述第一管体的一端与第一压电片连接，第一管体的另一端设有第一导杆，第一导杆为弧形结构，第一导杆的一端设置在第一管体的内部，能够在第一管体内滑动；所述第一导杆的另一端与第一压电片连接；所述第一管体和第一导杆的外侧设有第一弹簧，所述第一弹簧的两端连接两个相邻的第一压电片，所述第一压电片连接有整流器，所述整流器与控制器连接，通过控制器监测第一压电片产生的电势差大小。
10.优选的，所述方向盘本体上设有方向盘套，所述方向盘套内部设有第二压电片，第二压电片沿方向盘本体截面的周向设置，第二压电片的两端与方向盘套连接；所述第二压电片与方向盘套之间设有多组第二弹性件，所述第二弹性件包括第二套管，所述第二套管的一端与第二压电片连接，所述第二套管的另一端设有第二导杆，所述第二导杆与第二管体间隙滑动连接，所述地二导杆的另一端与所述方向盘套连接。
11.优选的，所述第二管体和第二导杆的外侧设有第二弹簧，所述第二弹簧的一端与第二压电片连接，另一端与所述方向盘套连接；所述第二压电片连接有整流器，所述整流器与控制器连接，通过控制器监测第二压电片产生的电势差大小。
12.优选的，通过摄像机获取面部行为特征的过程为，首先读取视频的序列，获取图像，进行人脸检测和关键点定位，之后看是否满足根据疲劳值的设定的眼睛高度比和嘴巴开合度，若满足设定的话，则对眼部、嘴部、头部的状态进行特征提取，获取特征向量，若未满足设定，则对眼部进行定位计算和收集眼睛长宽比数据，判断系统时间若时间大于1分钟，则计算闭眼阈值和平均闭眼时间，计算俯仰角的均值，提取眼部、嘴部、头部的状态的信息特征的特征向量，最后与心率及心率变异性参数指标的特征向量进行特征层融合，得出综合疲劳度。
13.优选的，面部视频中的心率提取的过程为，获取人脸图象之后，对图像进行预处
理，分析图像序列、人脸检测定位、roi分割，之后采用pos算法提取rppg信号，然后通过生成对抗网络模型算法生成标准ecg心率信号，并提取心率变异性等特征向量，最后与面部行为的特征向量进行特征层融合，得出综合疲劳度。
14.优选的，该系统采用双光谱测温红外摄像头同时采集rgb图像与近红外图像，可以减少光线、眼镜和头部方向对检测精度的影响。人脸检测、跟踪及对齐部分采用基于mobilenet-ssd的人脸检测算法、ert级联回归人脸特征点（dlib库）检测算法及kalman滤波跟踪算法，人脸关键点对齐采用人脸实现81点人脸关键地标。疲劳特征提取分为面部行为及心率特征，面部行为疲劳特征主要包括眼睑、嘴部及头部等的特征，根据特征点的位置判断眼睛的睁闭、嘴巴的开合。根据设计的阈值统计分析单位时间内二者状态的变化，即可获得perclos值和哈欠等特征。对于心率信号估计研究基于深度学习的视觉rppg心率估计算法，提取鲁棒性强的rppg脉搏信号，然后通过信号处理计算出心率及其心率变异性参数等疲劳特征。最后将眼睑、嘴部、心率及心率变异性参数等特征向量级联，针对疲劳的时序性特点设计基于长短时循环网络（lstm）的特征层融合网络训练模型，分类层完成疲劳识别。
15.另外，眼部的特征主要反映在眼部开合度的大小，但是仅利用眼睛的高度判断眼睛的开合度，在处理时会受到近大远小成像原理的影响，为了减小此种影响，通过眼睛的长宽比ear判断眼睛的开合大小程度，则左眼的ear
l
满足:ear
l
=((p
67-p
61
) ( p
66-p
62
) ( p
65-p
63
))/3(p
64
‑ꢀ
p
60
)；则右眼的earr满足：earr=((p
75-p
69
) ( p
74-p
70
) ( p
73-p
71
))/3(p
72
‑ꢀ
p
68
)；上式中pn为标注的眼部关键点，n=60,61，
…
，75。眼睛的宽度和高度通过欧几里得公式计算，眼睛的宽度和高度距离l满足二维空间公式，l=((x2‑ꢀ
x2)2 (y2‑ꢀ
y1)2)
1/2
；人在进行眨眼时，左右眼会同步动作，则两只眼睛的长宽比平均值作为最终的长宽比ear值，ear= (ear
l
earr)/2。眼睛处于睁开状态时，眼睛的高度和宽度保持不变，ear为恒定值，若处于闭眼状态，眼睛的宽度不变，高度减小，ear值接近0，在进行疲劳判断时，将ear的阈值设定为完全闭眼阈值的80%，即在达到完全闭眼阈值80%时，系统会判定驾驶员疲劳，通过报警模块发出警报声，提醒驾驶员停车休息。
16.另外，面部视频中的心率提取具体过程为，步骤一，光电传感器在自然光源或者主动光源下采集人脸的连续视频，将其进行分解成图像序列，利用人脸识别定位或者皮肤检测算法，将人脸的roi区域进行分割并提取出作为ppg信号处理源；步骤二，对视频图像设定信号缓冲带和采样窗口，分离roi的图像rgb信号通道，利用信号处理技术从分割后的roi区域中提取脉搏波波形；步骤三，得到初步脉搏波波形后，对其进行空间变换、滤波、光谱峰值提取处理步骤，最后提取心率、呼吸率等目标参数。提取心率、呼吸率的特征向量，与面部特征向量进行特征融合，综合得出驾驶员疲劳程度，若超过设定的阈值，则发出警报声提醒。报警模块通过蜂鸣器梯形和语音广播，为了增加故障报警的准确性，当检测的疲劳值超过设定的报警阈值y时，在未获得控制器数据分析结果时，根据系统心率、呼吸率的特征和眼部、嘴部、头部姿态特征的正常数据，计算数据指标，然后根据这些数据指标的均值μ和标准方差σ，则报警阈值y满足以下关系：y=λ
·
1/2（μ2 σ2）
1/2
；λ为关系因子，取值范围为0.76-1.69。
17.另外，在控制器经过各个特征的信息融合获取综合疲劳之后，为了防止通过面部外观进行观察来判断往往落后于疲劳真正发生的时间，且容易被伪装导致判断错误发生，通过控制器连接的机械模块进行同步检测，降低误判的发生，提升疲劳检测的精确度，在疲
劳发生的第一时间内能够判断出来；机械模块在进行判断时，驾驶者正常驾驶时，应该是持续转动方向盘进行方向调节，当患者出现疲劳时，可能会出现降低转动方向盘的频率或者转动方向盘的时间周期变长，通过检测设置的机械模块，当驾驶员持续转动方向盘本体时，转动块跟随方向盘本体转动，同时设置在转动块上的拨动块跟随转动，在拨动块在转动时，拨动设置在固定台一侧的第一压电片，第一压电片发生振动，当持续拨动时，第一压电片形变增加，轴向距离缩短，与波动片脱离，在第一压电片受到形变时，压电陶瓷片两侧形成电荷移动，形成电势差，通过连接的整流器进行整流，并且连接有控制器进行电势差大小检测，同时连接电源进行存储，当持续转动方向盘本体时，通过拨动第一压电片能够不间断形成电势差，通过控制器之间进行监测，若驾驶员超过四秒以上不转动方向盘本体时，控制器监测第一压电片无电势差，则能够说明驾驶员存在疲劳驾驶的安全隐患，通过报警模块进行提醒驾驶员。当第一压电片进行振动时，通过设置第一弹性件进行缓冲，不急能够对第一压电片提供有效缓冲，防止形变过大，损坏压电陶瓷片，而且能够通过设置的第一弹簧提供回弹力，从而使第一压电片形成更稳定的振动，提供的电势差更加稳定，有助于控制器监测电势差大小的精确度，从而提升疲劳检测的精确性。当拨动块拨动第一压电片时，两个第一压电片之间形变时，带动第一导杆收缩至第一管体，同时第一弹簧进行压缩，当拨动块脱离第一压电片时，第一压电片受到第一弹簧的回弹力，进行复位，提升第一压电片的振动幅度，有利于提升稳定的电势差，增加控制器的监测精度。为了增加第一压电片的刚性，防止损坏,延长使用寿命，将基板设置成截面为梯形的结构，当基板受到拨动块的力作用时，第一压电片会产生切向应变和轴向剖面转动，产生径向力矩m，径向力矩m与拨动力f之间满足2m=δ
·
ef/π；e为基板钹片弹性模量常数，单位mpa；δ为弹性系数，取值范围为0.4-0.6；m单位cm；f单位n/m。
18.在一般的驾驶行为中，当需要转动方向盘本体时，一般施加在方向盘本体的压力会增大，即施加在方向盘本体的握力增加，所以，通过在方向盘本体设置第二压电片，和第二弹性体，作用与连接方式与上述原理相同，通过控制器同步监测施加在方向盘本体的握力与方向盘是否转动，转动时，当方向盘本体内的第二压电片产生的电势差增大，同时第一压低电片能够产生持续稳定的电压，说明驾驶员状态良好。当第一压低电片能够产生持续稳定的电压，且第二压电片产生的电势差稳定，则说明驾驶员存在疲劳驾驶的情况，报警模块进行提醒。当第一压低电片四秒内没有产生电压，且第二压电片产生的电势差稳定，则说明驾驶员存在疲劳驾驶的情况，报警模块进行提醒。当第一压低电片四秒内没有产生电压，且第二压电片产生的电势差增大，说明驾驶员状态良好，不存在疲劳驾驶和的情况。通过上述方法，控制器进行监测时，结合方向盘本体施加的压力大小和反向盘本体转动的频率，能够有效提升监测疲劳状态的监测精确性，同时结合驾驶员面部特征和心率、呼吸特征经过特征融合所得到的识别结果，共同判定驾驶员的精神状态，有效提高了疲劳检测的持续性和超前性、准确性，及时预警驾驶员安全驾驶。
19.与现有技术相比，本发明具有以下有益效果：（1）本发明一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，研究通过采集视频图像，采用深度学习方法提取并融合面部行为特征和rppg心率特征，进行驾驶疲劳识别。该方法能够结合多特征疲劳的时序性及上下文信息设计基于lstm网络融合模型完成对司机疲劳状态实时监测。该方法相比于单一特征检测模型，准确率较高，泛化性能
较强，可靠性较高。
20.（2）本发明一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，基于深度学习的rppg心率估计算法来提高驾驶员rppg心率信号估计的准确性和鲁棒性，且心率估计深度模型通过迁移学习的微调方法适用于驾驶疲劳检测应用。
21.（3）本发明一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，通过面部行为及心率特征融合疲劳驾驶数据集。提取出面部行为疲劳特征及rppg心率疲劳特征，该系统单一依靠面部视频进行多特征融合疲劳检测具有非接触、无侵扰等优势，且应用易扩展。
22.（4）本发明一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，通过控制器连接的机械模块进行同步检测，防止通过面部外观进行观察来判断往往落后于疲劳真正发生的时间，且容易被伪装导致判断错误发生，降低误判的发生，提升疲劳检测的精确度，在疲劳发生的第一时间内能够判断出来。
23.（5）本发明一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，通过设置第一弹性件进行缓冲，不急能够对第一压电片提供有效缓冲，防止形变过大，损坏压电陶瓷片，而且能够通过设置的第一弹簧提供回弹力，从而使第一压电片形成更稳定的振动，提供的电势差更加稳定，有助于控制器监测电势差大小的精确度，从而提升疲劳检测的精确性。
24.（6）本发明一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，当拨动块拨动第一压电片时，两个第一压电片之间形变时，带动第一导杆收缩至第一管体，同时第一弹簧进行压缩，当拨动块脱离第一压电片时，第一压电片受到第一弹簧的回弹力，进行复位，提升第一压电片的振动幅度，有利于提升稳定的电势差，增加控制器的监测精度。
25.（7）本发明一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，控制器进行监测时，结合方向盘本体施加的压力大小和反向盘本体转动的频率，能够有效提升监测疲劳状态的监测精确性，同时结合驾驶员面部特征和心率、呼吸特征经过特征融合所得到的识别结果，共同判定驾驶员的精神状态，有效提高了疲劳检测的持续性和超前性、准确性，及时预警驾驶员安全驾驶。
附图说明
26.为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
27.图1是本发明的系统框图。
28.图2是本发明的基于面部特征的疲劳驾驶检测框图。
29.图3是本发明的面部特征提取流程图。
30.图4是本发明的心率特征提取流程图。
31.图5是本发明的特征特征层融合流程框图。
32.图6是本发明的机械模块结构示意图。
33.图7是本发明的固定台侧面俯视图。
34.图8是本发明的转动块侧面俯视图。
35.图9是本发明的第一压电片结构示意图。
36.图10是本发明的第一弹性件结构示意图。
37.图11是本发明的方向盘套截面示意图。
38.图12是本发明的方向盘套内部放大结构示意图。
39.图13是本发明的第二弹性件结构示意图。
40.图14是本发明的面部与心率特征融合的数据集构件过程框图。
41.图15是本发明的驾驶员主管疲劳状态获取过程示意图。
42.图16是本发明的疲劳融合特征定义表格。
43.图中：1、方向盘本体；2、转向杆；3、转动块；4、固定台；5、第一压电片；6、拨动块；7、第一弹性件；8、方向盘套；9、第二压电片；10、第二弹性体；11、第二管体；12、第二导杆；13、第二弹簧；51、基板；52、压电陶瓷片；71、第一管体；72、第一导杆；73、第一弹簧。
具体实施方式
44.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
45.因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
46.实施例一：如图1-5所示，基于面部多模态深度学习的疲劳驾驶视觉检测系统，包括控制器，控制器电性连接有摄像机和机械模块，控制器设有数据处理模块、数据存储模块、报警模块；控制器通过串口通信的方式连接有摄像机，所述摄像机拍摄驾驶人员的照片传输至控制器，通过数据处理模块对拍摄的图像帧进行处理，提取出来自面部视频中的心率及面部行为的疲劳特征，然后融合心率特征及其变异性特征与面部行为特征进行疲劳状态分类判定；面部行为特征包括眼部信号特征、嘴部信号特征、头部信号特征，分别对眼部信号特征、嘴部信号特征、头部信号特征、心率特征进行特征提取，将提取的特征信息进行分类融合，综合判定其疲劳程度。
47.通过摄像机获取面部行为特征的过程为，首先读取视频的序列，获取图像，进行人脸检测和关键点定位，之后看是否满足根据疲劳值的设定的眼睛高度比和嘴巴开合度，若满足设定的话，则对眼部、嘴部、头部的状态进行特征提取，获取特征向量，若未满足设定，则对眼部进行定位计算和收集眼睛长宽比数据，判断系统时间若时间大于1分钟，则计算闭眼阈值和平均闭眼时间，计算俯仰角的均值，提取眼部、嘴部、头部的状态的信息特征的特征向量，最后与心率及心率变异性参数指标的特征向量进行特征层融合，得出综合疲劳度。
48.面部视频中的心率提取的过程为，获取人脸图象之后，对图像进行预处理，分析图
像序列、人脸检测定位、roi分割，之后采用pos算法提取rppg信号，然后通过生成对抗网络模型算法生成标准ecg心率信号，并提取心率变异性等特征向量，最后与面部行为的特征向量进行特征层融合，得出综合疲劳度。
49.面部视频中的心率提取具体过程为，步骤一，光电传感器在自然光源或者主动光源下采集人脸的连续视频，将其进行分解成图像序列，利用人脸识别定位或者皮肤检测算法，将人脸的roi区域进行分割并提取出作为ppg信号处理源；步骤二，对视频图像设定信号缓冲带和采样窗口，分离roi的图像rgb信号通道，利用信号处理技术从分割后的roi区域中提取脉搏波波形；步骤三，得到初步脉搏波波形后，对其进行空间变换、滤波、光谱峰值提取处理步骤，最后提取心率、呼吸率等目标参数。提取心率、呼吸率的特征向量，与面部特征向量进行特征融合，综合得出驾驶员疲劳程度，若超过设定的阈值，则发出警报声提醒。报警模块通过蜂鸣器梯形和语音广播，为了增加故障报警的准确性，当检测的疲劳值超过设定的报警阈值y时，在未获得控制器数据分析结果时，根据系统心率、呼吸率的特征和眼部、嘴部、头部姿态特征的正常数据，计算数据指标，然后根据这些数据指标的均值μ和标准方差σ，则报警阈值y满足以下关系：y=λ
·
1/2μ2 σ
21/2
；λ为关系因子，取值范围为0.76-1.69。
50.实施例二：如图6-10所示，在实施例一的基础上，所述机械模块设置在方向盘本体1上，通过设置的机械模块检测方向盘本体1的运动状态和受压力状态，在结合面部特征信息和心率特征信息综合判定疲程度；所述机械模块包括方向盘本体1，所述方向盘本体1连接有转向杆2，所述方向盘本体1与转向杆2连接处设有转向块，所述转向块与方向盘本体1固定连接。
51.所述转向杆2延伸至固定台4内，所述固定台4与车体的中控台为一体结构，所述固定台4与转动块3对应设置，所述固定台4靠近转动块3的一侧表面均匀设有多个第一压电片5，多个所述第一压电片5呈环形结构分布，所述转动块3靠近固定台4的一侧设有多个拨动块6，多个所述拨动块6在转动块3的侧面呈环形分布，所述拨动块6与第一压电片5相对应设置，拨动块6能够拨动第一压电片5振动。
52.每两个所述第一压电片5之间均设有第一弹性体7，所述第一弹性体7在多个第一压电片5之间构成环形结构，所述第一弹性体7包括第一管体71，所述第一管体71为弧形结构，所述第一管体71的一端与第一压电片5连接，第一管体71的另一端设有第一导杆72，第一导杆72为弧形结构，第一导杆72的一端设置在第一管体71的内部，能够在第一管体71内滑动；所述第一导杆72的另一端与第一压电片5连接；所述第一管体71和第一导杆72的外侧设有第一弹簧73，所述第一弹簧73的两端连接两个相邻的第一压电片5，所述第一压电片5连接有整流器，所述整流器与控制器连接，通过控制器监测第一压电片5产生的电势差大小。
53.在控制器经过各个特征的信息融合获取综合疲劳之后，为了防止通过面部外观进行观察来判断往往落后于疲劳真正发生的时间，且容易被伪装导致判断错误发生，通过控制器连接的机械模块进行同步检测，降低误判的发生，提升疲劳检测的精确度，在疲劳发生的第一时间内能够判断出来；机械模块在进行判断时，驾驶者正常驾驶时，应该是持续转动方向盘进行方向调节，当患者出现疲劳时，可能会出现降低转动方向盘的频率或者转动方向盘的时间周期变长，通过检测设置的机械模块，当驾驶员持续转动方向盘本体1时，转动块3跟随方向盘本体1转动，同时设置在转动块3上的拨动块6跟随转动，在拨动块6在转动
时，拨动设置在固定台4一侧的第一压电片5，第一压电片5发生振动，当持续拨动时，第一压电片5形变增加，轴向距离缩短，与波动片脱离，在第一压电片5受到形变时，压电陶瓷片52两侧形成电荷移动，形成电势差，通过连接的整流器进行整流，并且连接有控制器进行电势差大小检测，同时连接电源进行存储，当持续转动方向盘本体1时，通过拨动第一压电片5能够不间断形成电势差，通过控制器之间进行监测，若驾驶员超过四秒以上不转动方向盘本体1时，控制器监测第一压电片5无电势差，则能够说明驾驶员存在疲劳驾驶的安全隐患，通过报警模块进行提醒驾驶员。当第一压电片5进行振动时，通过设置第一弹性件进行缓冲，不急能够对第一压电片5提供有效缓冲，防止形变过大，损坏压电陶瓷片52，而且能够通过设置的第一弹簧73提供回弹力，从而使第一压电片5形成更稳定的振动，提供的电势差更加稳定，有助于控制器监测电势差大小的精确度，从而提升疲劳检测的精确性。当拨动块6拨动第一压电片5时，两个第一压电片5之间形变时，带动第一导杆72收缩至第一管体71，同时第一弹簧73进行压缩，当拨动块6脱离第一压电片5时，第一压电片5受到第一弹簧73的回弹力，进行复位，提升第一压电片5的振动幅度，有利于提升稳定的电势差，增加控制器的监测精度。为了增加第一压电片5的刚性，防止损坏,延长使用寿命，将基板51设置成截面为梯形的结构，当基板51受到拨动块6的力作用时，第一压电片5会产生切向应变和轴向剖面转动，产生径向力矩m，径向力矩m与拨动力f之间满足2m=δ
·
ef/π；e为基板51钹片弹性模量常数，单位mpa；δ为弹性系数，取值范围为0.4-0.6；m单位cm；f单位n/m。
54.实施例三：如图11-13所示，在实施例一的基础上，所述方向盘本体1上设有方向盘套8，所述方向盘套8内部设有第二压电片9，第二压电片9沿方向盘本体1截面的周向设置，第二压电片9的两端与方向盘套8连接；所述第二压电片9与方向盘套8之间设有多组第二弹性件，所述第二弹性件包括第二套管，所述第二套管的一端与第二压电片9连接，所述第二套管的另一端设有第二导杆12，所述第二导杆12与第二管体11间隙滑动连接，所述地二导杆的另一端与所述方向盘套8连接。
55.所述第二管体11和第二导杆12的外侧设有第二弹簧13，所述第二弹簧13的一端与第二压电片9连接，另一端与所述方向盘套8连接；所述第二压电片9连接有整流器，所述整流器与控制器连接，通过控制器监测第二压电片9产生的电势差大小。
56.在一般的驾驶行为中，当需要转动方向盘本体1时，一般施加在方向盘本体1的压力会增大，即施加在方向盘本体1的握力增加，所以，通过在方向盘本体1设置第二压电片9，和第二弹性体10，作用与连接方式与上述原理相同，通过控制器同步监测施加在方向盘本体1的握力与方向盘是否转动，转动时，当方向盘本体1内的第二压电片9产生的电势差增大，同时第一压低电片能够产生持续稳定的电压，说明驾驶员状态良好。当第一压低电片能够产生持续稳定的电压，且第二压电片9产生的电势差稳定，则说明驾驶员存在疲劳驾驶的情况，报警模块进行提醒。当第一压低电片四秒内没有产生电压，且第二压电片9产生的电势差稳定，则说明驾驶员存在疲劳驾驶的情况，报警模块进行提醒。当第一压低电片四秒内没有产生电压，且第二压电片9产生的电势差增大，说明驾驶员状态良好，不存在疲劳驾驶和的情况。通过上述方法，控制器进行监测时，结合方向盘本体1施加的压力大小和反向盘本体转动的频率，能够有效提升监测疲劳状态的监测精确性，同时结合驾驶员面部特征和心率、呼吸特征经过特征融合所得到的识别结果，共同判定驾驶员的精神状态，有效提高了
疲劳检测的持续性和超前性、准确性，及时预警驾驶员安全驾驶。
57.实施例四在实施例一的基础上，该系统采用双光谱测温红外摄像头同时采集rgb图像与近红外图像，可以减少光线、眼镜和头部方向对检测精度的影响。人脸检测、跟踪及对齐部分采用基于mobilenet-ssd的人脸检测算法、ert级联回归人脸特征点检测算法及kalman滤波跟踪算法，人脸关键点对齐采用人脸实现81点人脸关键地标。疲劳特征提取分为面部行为及心率特征，面部行为疲劳特征主要包括眼睑、嘴部及头部等的特征，根据特征点的位置判断眼睛的睁闭、嘴巴的开合。根据设计的阈值统计分析单位时间内二者状态的变化，即可获得perclos值和哈欠等特征。对于心率信号估计研究基于深度学习的视觉rppg心率估计算法，提取鲁棒性强的rppg脉搏信号，然后通过信号处理计算出心率及其心率变异性参数等疲劳特征。最后将眼睑、嘴部、心率及心率变异性参数等特征向量级联，针对疲劳的时序性特点设计基于长短时循环网络lstm的特征层融合网络训练模型，分类层完成疲劳识别。
58.眼部的特征主要反映在眼部开合度的大小，但是仅利用眼睛的高度判断眼睛的开合度，在处理时会受到近大远小成像原理的影响，为了减小此种影响，通过眼睛的长宽比ear判断眼睛的开合大小程度，则左眼的ear
l
满足:ear
l
=((p
67-p
61
) ( p
66-p
62
) ( p
65-p
63
))/3(p
64
‑ꢀ
p
60
)；则右眼的earr满足：earr=((p
75-p
69
) ( p
74-p
70
) ( p
73-p
71
))/3(p
72
‑ꢀ
p
68
)；上式中pn为标注的眼部关键点，n=60,61，
…
，75。眼睛的宽度和高度通过欧几里得公式计算，眼睛的宽度和高度距离l满足二维空间公式，l=((x2‑ꢀ
x2)2 (y2‑ꢀ
y1)2)
1/2
；人在进行眨眼时，左右眼会同步动作，则两只眼睛的长宽比平均值作为最终的长宽比ear值，ear= (ear
l
earr)/2。眼睛处于睁开状态时，眼睛的高度和宽度保持不变，ear为恒定值，若处于闭眼状态，眼睛的宽度不变，高度减小，ear值接近0，在进行疲劳判断时，将ear的阈值设定为完全闭眼阈值的80%，即在达到完全闭眼阈值80%时，系统会判定驾驶员疲劳，通过报警模块发出警报声，提醒驾驶员停车休息。
59.实施例五如图14-16所示，利用摄像头采集驾驶员面部图像信息，利用rppg心率信号估计及处理算法采集驾驶员心率信息，利用驾驶员疲劳状态自我评价表和专家评价表获得了驾驶员疲劳状态主观评价。其次，获取面部数据集特征值（x值），即驾驶员面部及心率融合特征。对于摄像头采集的驾驶员面部图像数据，利用本方案的人脸检测、跟踪及对齐算法提取驾驶员面部特征方法，获得驾驶员多面部特征，如图16疲劳融合特征定义中面部行为特征所示。利用本方案提出的驾驶员心率特征提取方法，获取驾驶员多心率特征，该心率特征共7维，如图15疲劳融合特征定义中的多心率特征。最后，获取数据集目标值（y 值），即驾驶员疲劳状态主观评价。对于驾驶员疲劳状态自我评价和专家评价数据，通过融合统一得到驾驶员疲劳状态主观评价，作为数据集目标值，即 y 值。
60.其中，综合的驾驶员疲劳状态主观评价等级获取过程如下图15所示，首先利用ux曲线和 kss回顾表对kss初步自我评价表进行修正；然后，将修正后的 kss 初步自我评价表和专家评价表的疲劳等级统一为“清醒”、“中度疲劳”和“重度疲劳”三个等级；最后，选择两表其中的较大值作为该段时间内综合的驾驶员疲劳状态主观评价等级。
61.心率变异性是由心电ecg信号中r峰值的时间间隔（ibi）计算得出的指标。hrv的特征可以表示心跳和疲劳状态之间的关系，具有很高的相关性。计算心率变异性需要采集准
确的心脏脉搏波波形，然而ecg必须通过接触式设备进行测量。远程光体积描记术（rppg）信号是一种生理信号，在不使用任何接触设备的情况下由摄像机测量，同时保留ppg的特征。因此，选择源自rppg的脉搏峰值变化prv替换hrv，且计算方法与hrv相同。
62.hrv指标体系通常分为时域和频域两种。时域指标是根据 rr 序列间期的统计分析提取，主要指标包括正常心跳间期均值 nn.mean、正常心跳间期标准差sdnn、短期平均正常心跳hr间期标准差。频域指标主要分为总功率tp(0～0.4 hz)低频功率lf(0.04～0.15 hz)、高频功率hf(0.15～0.4 hz)、低频高频功率平衡比 lf/hf。研究表明，lf反映人体对心脏交感神经与副交感神经活动的双重调控，hf主要反映迷走神经活动的调节作用，lf/hf平衡比反映交感神经和副交感神经系统的平衡。结合rppg脉搏波常用度量指标来确定疲劳特征参数有平均心率hr、心率hr标准差、sdnn、tp、lf、hf及lf/hf。
63.对于面部识别采用可以3d脸部关键点计算，尽管二维面部地标检测算法对头部平移具有鲁棒性，但由于部分面部遮挡，它们对头部旋转相对较弱，3d脸部关键点计算方法为：(a)检测到3d面部地标,(b)生成面部patch左和右脸颊区域（4*4块）,(c)计算每一个patch正常值,和(d)的可见性脸颊结果,在红色patch被认为是可见的,也就是说,patch正常和z轴的夹角小于阈值(在这种情况下75度)，否则被遮挡。
64.通过上述技术方案得到的装置是一种基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统，研究通过采集视频图像，采用深度学习方法提取并融合面部行为特征和rppg心率特征，进行驾驶疲劳识别。该方法能够结合多特征疲劳的时序性及上下文信息设计基于lstm网络融合模型完成对司机疲劳状态实时监测。该方法相比于单一特征检测模型，准确率较高，泛化性能较强，可靠性较高。基于深度学习的rppg心率估计算法来提高驾驶员rppg心率信号估计的准确性和鲁棒性，且心率估计深度模型通过迁移学习的微调方法适用于驾驶疲劳检测应用。通过面部行为及心率特征融合疲劳驾驶数据集。提取出面部行为疲劳特征及rppg心率疲劳特征，该系统单一依靠面部视频进行多特征融合疲劳检测具有非接触、无侵扰等优势，且应用易扩展。通过控制器连接的机械模块进行同步检测，防止通过面部外观进行观察来判断往往落后于疲劳真正发生的时间，且容易被伪装导致判断错误发生，降低误判的发生，提升疲劳检测的精确度，在疲劳发生的第一时间内能够判断出来。通过设置第一弹性件进行缓冲，不急能够对第一压电片提供有效缓冲，防止形变过大，损坏压电陶瓷片，而且能够通过设置的第一弹簧提供回弹力，从而使第一压电片形成更稳定的振动，提供的电势差更加稳定，有助于控制器监测电势差大小的精确度，从而提升疲劳检测的精确性。当拨动块拨动第一压电片时，两个第一压电片之间形变时，带动第一导杆收缩至第一管体，同时第一弹簧进行压缩，当拨动块脱离第一压电片时，第一压电片受到第一弹簧的回弹力，进行复位，提升第一压电片的振动幅度，有利于提升稳定的电势差，增加控制器的监测精度。控制器进行监测时，结合方向盘本体施加的压力大小和反向盘本体转动的频率，能够有效提升监测疲劳状态的监测精确性，同时结合驾驶员面部特征和心率、呼吸特征经过特征融合所得到的识别结果，共同判定驾驶员的精神状态，有效提高了疲劳检测的持续性和超前性、准确性，及时预警驾驶员安全驾驶。
65.本发明中未详细阐述的其它技术方案均为本领域的现有技术，在此不再赘述。
66.以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。