基于面部识别的疲劳驾驶干预方法、装置、系统及设备与流程

本技术涉及辅助驾驶，尤其涉及一种基于面部识别的疲劳驾驶干预方法、装置、系统及设备。

背景技术：

1、在道路交通安全中，需要确保驾驶员在行驶过程中保持清醒状态。例如可以通过实时监督并分析驾驶员的面部表情来判断其是否处于疲劳驾驶状态，并基于监督分析结果自动调整车内环境以实现疲劳驾驶干预，确保驾驶员的行车安全。

2、然而，由于传统的面部表情识别方式(fer)通常只注重于基于面部整体来识别面部表情类别，识别结果的鲁棒性较差，未能考虑到在车辆行驶过程中驾驶员会受到不同光照和遮挡情况的影响。因此基于传统fer难以准确识别驾驶员的面部表情，进而影响疲劳干预措施及时响应执行。

技术实现思路

1、本技术的主要目的在于提供一种基于面部识别的疲劳驾驶干预方法、装置、系统及设备，旨在解决传统的fer鲁棒性较差，难以识别变化场景下驾驶员的面部表情，从而导致疲劳干预措施响应不及时的技术问题。

2、为实现上述目的，本技术提出一种基于面部识别的疲劳驾驶干预方法，所述基于面部识别的疲劳驾驶干预方法包括：

3、获取驾驶员的面部图像序列，并基于所述面部图像序列确定对应的局部区域图像序列；

4、将所述面部图像序列以及所述局部区域图像序列输入至预设面部表情识别模型，获得所述驾驶员的面部表情类别，其中，所述预设面部表情识别模型包括局部特征提取模块以及全局特征提取模块，所述局部特征提取模块用于基于长短期记忆神经网络块对所述局部区域图像序列进行特征提取，获得局部动态特征，所述全局特征提取模块用于基于可变形卷积对所述面部图像序列进行特征提取，获得全局外观特征；

5、根据所述面部表情类别确定对应的疲劳驾驶干预措施，并生成所述疲劳驾驶干预措施的执行指令。

6、在一实施例中，所述预设面部表情识别模型还包括共享浅层特征模块以及融合输出模块；

7、所述将所述面部图像序列以及所述局部区域图像序列输入至预设面部表情识别模型，获得所述驾驶员的面部表情类别的步骤，包括：

8、通过所述共享浅层特征模块对所述面部图像序列以及所述局部区域图像序列进行基础特征提取，获得若干低级特征；

9、通过所述局部特征提取模块对各所述低级特征采用长短期记忆神经网络块进行特征提取，获得局部动态特征；

10、通过所述全局特征提取模块对各所述低级特征采用可变形卷积进行特征提取，获得全局外观特征；

11、通过所述融合输出模块对所述局部动态特征和所述全局外观特征进行平均处理，获得融合分数，并根据所述融合分数确定所述驾驶员的面部表情类别。

12、在一实施例中，所述通过所述局部特征提取模块对各所述低级特征采用长短期记忆神经网络块进行特征提取，获得局部表情特征的步骤，包括：

13、通过长短期记忆神经网络块对关联所述局部区域图像序列的初级特征进行特征提取，获得不同局部区域对应的时间特征；

14、将所述不同局部区域对应的时间特征进行连接整合，获得局部动态特征，并确定为局部高级特征。

15、在一实施例中，所述通过所述全局特征提取模块对各所述低级特征采用可变形卷积进行特征提取，获得全局外观特征的步骤，包括：

16、基于自适应选择采样方式，采用可变形卷积对关联所述面部图像序列的初级特征进行特征提取，获得若干空间表达特征，并将各所述空间表达特征整合为全局外观特征。

17、在一实施例中，所述通过所述融合输出模块对所述局部动态特征和所述全局外观特征进行平均处理，获得融合分数，并根据所述融合分数确定所述驾驶员的面部表情类别的步骤，包括：

18、对所述局部动态特征和所述全局外观特征进行平均处理，计算不同面部表情类别对应的融合分数；

19、在各所述面部表情类别对应的融合分数中确定最大融合分数，并将所述最大融合分数对应的面部表情类别作为所述驾驶员的面部表情类别；

20、其中，确定所述最大融合分数的计算公式为：

21、

22、式中，ο为最大融合分数对应的面部表情类别，为平衡参数，plocal(i)为局部动态特征在面部表情类别i上的预测概率，pglobal(i)为全局外观特征在面部表情类别i上的预测概率。

23、在一实施例中，所述根据所述面部表情类别确定对应的疲劳驾驶干预措施，并生成所述疲劳驾驶干预措施的执行指令的步骤，包括：

24、根据所述面部表情类别确定所述驾驶员的当前清醒状态，并根据所述当前清醒状态判断所述驾驶员是否处于疲劳驾驶情况；

25、若是，则在预设疲劳驾驶干预措施表中查询所述当前清醒状态对应的疲劳驾驶干预措施，并生成所述疲劳驾驶干预措施的执行指令。

26、在一实施例中，所述疲劳驾驶干预措施包括：空调调节措施以及车窗控制措施。

27、此外，为实现上述目的，本技术还提出一种基于面部识别的疲劳驾驶干预装置，所述装置包括：

28、图像处理模块，用于获取驾驶员的面部图像序列，并基于所述面部图像序列确定对应的局部区域图像序列；

29、表情识别模块，用于将所述面部图像序列以及所述局部区域图像序列输入至预设面部表情识别模型，获得所述驾驶员的面部表情类别，其中，所述预设面部表情识别模型包括局部特征提取模块以及全局特征提取模块，所述局部特征提取模块用于基于长短期记忆神经网络块对所述局部区域图像序列进行特征提取，获得局部动态特征，所述全局特征提取模块用于基于可变形卷积对所述面部图像序列进行特征提取，获得全局外观特征；

30、环境控制模块，用于根据所述面部表情类别确定对应的疲劳驾驶干预措施，并生成所述疲劳驾驶干预措施的执行指令。

31、此外，为实现上述目的，本技术还提出一种基于面部识别的疲劳驾驶干预系统，所述系统包括：摄像头、环境响应装置以及如上文所述的基于面部识别的疲劳驾驶干预装置，所述疲劳驾驶调节装置分别与所述摄像头以及所述环境响应装置电连接；

32、所述摄像头，用于实时采集所述驾驶员的面部图像，获得面部图像序列，并将所述面部图像序列发送至所述图像处理模块；

33、所述环境响应装置，用于接收所述环境控制模块发送的执行指令，执行对应的疲劳驾驶干预措施。

34、此外，为实现上述目的，本技术还提出一种基于面部识别的疲劳驾驶干预设备，所述基于面部识别的疲劳驾驶干预设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于面部识别的疲劳驾驶干预程序，所述基于面部识别的疲劳驾驶干预程序被所述处理器执行时实现如上文所述的基于面部识别的疲劳驾驶干预方法的步骤。

35、本技术提供一种基于面部识别的疲劳驾驶干预方法，通过获取驾驶员的面部图像序列，并基于所述面部图像序列确定对应的局部区域图像序列；将所述面部图像序列以及所述局部区域图像序列输入至预设面部表情识别模型，获得所述驾驶员的面部表情类别，其中，所述预设面部表情识别模型包括局部特征提取模块以及全局特征提取模块，所述局部特征提取模块用于基于长短期记忆神经网络块对所述局部区域图像序列进行特征提取，获得局部动态特征，所述全局特征提取模块用于基于可变形卷积对所述面部图像序列进行特征提取，获得全局外观特征；根据所述面部表情类别确定对应的疲劳驾驶干预措施，并生成所述疲劳驾驶干预措施的执行指令。由于本技术中能够结合局部特征和全局特征，减少了单一特征分析可能带来的误判。并利用长短期记忆网络和可变形卷积分别进行特征提取，能够适应于不同光照条件遮挡情况和驾驶环境，确保在各种条件下都能准确识别驾驶员的面部表情类别，进而实现了对应的疲劳驾驶干预措施的及时响应实行。