一种基于面部视频的疲劳驾驶状态检测方法与流程

本发明涉及环保装置，尤其涉及一种基于面部视频的疲劳驾驶状态检测方法。

背景技术：

1、疲劳驾驶是由于长时间驾驶、缺乏足够休息或其他原因导致驾驶者感到疲劳、昏昏欲睡的一种状态，在这种情况下，驾驶者可能会出现眼睛干涩、视觉模糊、眼皮沉重等症状，同时疲劳状态下的驾驶者警觉性降低、反应速度减缓，容易失去对车辆的控制，增加与其他道路用户发生碰撞的风险，尤其在需要长时间专注的高速公路等道路上更为危险，全球范围内，疲劳驾驶严重影响行车安全，造成交通事故的重大隐患；

2、随着汽车的普及，交通形势日益严峻，为了避免交通安全事故的发生，国内外科研人员正关注疲劳驾驶监测技术，并进行相关研究，目前，疲劳驾驶检测技术主要分为四类：面部特征的疲劳状态识别方法、车辆驾驶信息的疲劳驾驶检测方法、生理特征的疲劳状态识别方法以及多模态融合的疲劳驾驶方法；

3、这几种方法主要关注于个体驾驶者的疲劳驾驶状态检测，其中面部特征、内在生理特征以及多模态融合用于更好地了解驾驶员当前行为状态，提供更准确的判断结果，个体状态评估主要涵盖外在行为和内在生理状态两个方面，外在行为包括在疲劳状态下的外在表现，如打哈欠、眯眼等，然而，外在行为容易受到环境干扰，并可能受到个体习惯的影响，与此不同，内在生理状态的测量相对较为困难，穿戴式生理状态测量需要接触并可能对驾驶员造成一定的侵扰，可能导致驾驶员的不适感，甚至影响其操作，并且驾驶员的疲劳现象是多种因素相互作用的复杂结果，这些因素之间存在复杂的关系，疲劳现象本身也是一种复杂的状态，使用单一特征难以得到准确且稳定的结果。

4、因此，如何提供一种基于面部视频的疲劳驾驶状态检测方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于面部视频的疲劳驾驶状态检测方法，本发明通过视频分析技术，实现对驾驶员面部行为状态和心率状态的获取，通过采用模型，能够提取与疲劳驾驶相关的外在行为状态和心率特征，并将它们进行融合，实现从视频到疲劳驾驶状态的端到端判断，因此利用了外部面部行为和内在生理信息，提高疲劳驾驶状态检测的准确性和可靠性。

2、根据本发明实施例的一种基于面部视频的疲劳驾驶状态检测方法，包括以下步骤：

3、s1、通过多线程方式获取需要的数据，具体通过摄像头捕获面部视频数据，进而获取被试者的外部行为状态和内在心率状态；

4、s2、获取面部关键点，获取面部关键点后进行面部行为特征分析；

5、s3、通过tc-can方法获取脉搏波，其中ts-can神经网络通过关注时空通道信息来提高脉搏估计性能；

6、s4、通过resnet18网络获取外部行为特征feature_face；

7、s5、对于s3中获取到的脉搏波数据提取需要的心率特征feature_hr，具体通过手动提取常用的心率分析特征，其中所提取的脉搏波主要可用的信息为心率值以及心率变异性相关特征；

8、s6、融合外部行为特征以及心率特征进行分类，并根据分类特征进行最终的疲劳驾驶状态判断，判断驾驶人员是否处于疲劳状态。

9、可选的，所述s1中外部行为状态处理时首先对视频图像进行分析，再判别面部关键点的变化，并提取与疲劳驾驶相关的状态特征，且面部视频数据通过多线程方式进行数据获取，其中线程a负责数据读取并将视频数据存储到视频队列中，线程b按照处理窗口的时间间隔从视频队列中提取所需的视频数据。

10、可选的，所述s3中ts-can神经网络是一种专注于人脸视频处理的神经网络模型，引入时空注意力机制在视频序列中自适应地关注重要的时刻和通道，其中ts-can网络对于输入的视频数据进行两方面的处理：

11、对原始视频图像进行分析，提取图像的空间特征；

12、对输入视频的图像帧进行帧差处理，捕捉即时空信息；

13、且上述两部分信息经过特征提取，并通过注意力机制关注通道变化信息的方式实现对脉搏波的准确获取。

14、可选的，所述s4中获取外部行为特征时首先针对s1获取到的面部图像进行转置操作，将整个视频片段的面部特征转化为一个面部关键点的特征图，且该特征图通过设计模型进行分析，实现对面部外部行为特征的获取。

15、可选的，所述s5中心率变异性分为时域分析以及频域分析，通过对脉搏波分析获取的心率特征作为内在生理分类特征feature_hr。

16、可选的，所述时域特征主要包括：

17、sdnn标准差的标准差，表示相邻心跳间隔的标准差；

18、rmssd相邻rr之间的均方根差，用于评估短期hrv；

19、nn50相邻间隔的差异超过50毫秒的次数；

20、nni_20连续rr间期间隔差大于20ms的数量；

21、pnni_20用nni_20/rr间期数量r；

22、ange_nni rr间期最大值和最小值的差异；

23、cvcd连续差异的变化系数；

24、mean_hr平均心率；

25、max_hr最大心率；

26、min_hr最小心率；

27、std_hr心率标准差。

28、可选的，所述频域特征则主要包括：

29、vlf极低频时(0.003-0.04hz)hrv的方差，反映心脏产生的内在节律，受交感神经活动调节；

30、lf低频时(0.04-0.15hz)hrv的方差，反映交感神经和副交感神经活动；

31、hf高频时(0.15-40hz)hrv的方差，反映了由副交感神经活动引起的一拍一拍变异性的快速变化。

32、可选的，所述s6中面部外部行为特征feature_face和心率特征feature_hr融合得到分类特征，其具体公式为：

33、feature_classify＝concentrate(feature_face,feature_hr)；

34、所述s6中根据分类特征进行最终的疲劳驾驶状态判断的具体公式为：

35、output＝dense(2,activation＝“softmax”)(feature_classify)。

36、本发明的有益效果是：

37、1、本发明通过通过使用摄像机捕获驾驶员的面部视频，并对视频进行外部行为状态和内在生理状态两个方面的处理，在外部行为状态方面，我们采用面部所有关键点的变化作为外部行为特征，相对于直接对整个面部进行分析或将面部分割为眼部、嘴部等特定区域进行分析，这种方法能够确保在不牺牲特征准确性的情况下提高处理速度，在内在生理状态方面，选择了rppg领域中表现较好的ts-can方法，ts-can通过深度学习获取脉搏波信号，相较于传统方法具有更好的鲁棒性和较高的精度，针对获取到的外部行为状态和脉搏波信号，我们分别进行特征提取操作，然后将提取的特征组合起来，以进行疲劳驾驶状态的分析，本方法综合利用了外部面部行为和内在生理信息，从而大大提高疲劳驾驶状态检测的准确性和可靠性。

38、2、本发明通过面部外部行为特征的获取的方法相较于传统方法，综合考虑面部关键点的时序变换，不仅能够降低计算量，并且能够较大程度的获取自己需要的特征；

39、3、本发明通过非接触方式获取到的脉搏波，能够防止穿戴式测量需要接触并可能对驾驶员造成一定的侵扰的情况，且传统一些方法直接通过深度模型进行分析，这种方式首先分析速度慢，而且需要大量相关数据进行验证，而本发明利用了脉搏波进行人体状态分析的先验知识，提升了速度，并且精度也会更高。