基于多模态的异常驾驶行为判断方法与系统

本发明属于汽车驾驶行为安全，涉及一种基于多模态的异常驾驶行为判断方法与系统。

背景技术：

1、据统计，每年交通事故的发生频率逐渐增高，给人们的生命财产安全造成极大损失。不适当的驾驶行为已成为绝大多数车祸的主要原因，在中国，超过80％的道路交通事故与危险驾驶行为有关，研究识别异常驾驶行为对交通安全有积极的影响。

2、影响道路安全驾驶员驾驶的因素比较复杂，现有的研究将影响道路安全的因素主要归为三个方面：人、车、环境。包括驾驶员自身的数据(如动作、面部表情、眼动等)、车辆的数据(速度、加速度、gps)、环境的数据(道路状态、天气状态、外界人为环境影响)等。目前的研究大多都是基于人、车的，例如基于驾驶员本身状态的检测，检测驾驶员分心驾驶、疲劳驾驶、醉酒驾驶、晕厥等异常驾驶行为。或者基于车辆运动状态的检测，即车辆运动数据，检测车辆是否处于急加速、急减速、急转弯、急变道、超速等异常驾驶行为。

3、但较少研究考虑道路环境、乘客行为、交通状态等对异常驾驶行为识别的影响，道路交通系统中93％以上的交通事故与人因有关，驾驶人在交通环境中的决策和行为与交通安全息息相关。这就导致了单一感知无法为异常驾驶行为准确判断提供完整的依据，不利于异常驾驶行为识别。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于多模态的异常驾驶行为判断方法与系统，其能够同时监测驾驶员状态、车辆状态、环境状态，融合考虑各因素对驾驶安全的影响，有利于检测到更多的异常驾驶行为，提高异常驾驶行为识别在真实道路环境中的准确率，并及时给与驾驶员必要反馈，督促驾驶员修正自身驾驶行为或者及时规避影响驾驶安全的情况，同时也可以为智能汽车驾驶权转移策略提供支撑，减少交通事故的发生，提高道路安全性。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于多模态的异常驾驶行为判断方法，其包括以下步骤：

4、s1、获取驾乘人员的状态信息，并构建融合自适应梯度特征的双流时空卷积网络对驾乘人员的状态进行监测；

5、s2、获取道路环境信息，构建引入自注意力机制的多检测头跨阶段局部网络进行道路环境监测；

6、s3、获取车辆运动状态，并通过滑动窗口阈值分类算法监测危险驾驶操作行为；

7、s4、基于各项监测数据预判是否存在严重影响道路安全驾驶行为，将行为分为正常驾驶、疑似危险驾驶、危险驾驶、严重危险驾驶行为，其中，若存在严重危险驾驶行为直接转移驾驶权；若存在疑似危险驾驶或危险驾驶行为，则对此行为进一步识别；

8、s5、构建基于逻辑回归的多指标阈值划分异常驾驶识别算法对存在疑似危险驾驶或危险驾驶行为的行为进行融合多模态数据的异常驾驶行为准确识别。

9、进一步，在步骤s1中，应用yolov8-pose多人姿态估计框架，并构建融合自适应梯度特征的双流时空卷积网络，精确检测驾驶员的状态，并识别乘客是否存在可能影响行车安全的活动；其包括以下过程：

10、驾乘人员视频序列首先经过自适应融合梯度直方图特征模块hog和颜色特征模块cn的互补融合，进行特征提取，提高对光照变化的鲁棒性，并增强在目标对象快速运动情况下的跟踪稳定性；

11、采用yolov8-pose单阶段面部骨骼关键点识别技术采集关键点信息，以提高检测速率；

12、将采集的关键点信息输入至双流时空卷积模块，根据关键点构建连续空间流和时态流，提取面部和骨骼空间特征和时间特征，并融合空间特征和时间特征，进而基于驾驶员面部进行疲劳识别和基于驾乘人员骨骼进行异常行为识别。

13、进一步，在步骤s2中，构建引入自注意力机制的多检测头跨阶段局部网络，进行多任务同步处理；

14、自注意力机制多检测头跨阶段局部网络，其包括自注意力机制模块、跨阶段局部主干网络、辅助网络、以及多个检测头；

15、自注意力机制模块处理道路环境视频序列，用于筛选、过滤信息，增加对场景感知的注意力；

16、跨阶段局部主干网络进行特征提取；

17、能够自适应不同任务的辅助网络用于进一步融合特征；

18、网络的检测头包括多个模块，用于执行不同的检测任务，其中，检测头包括：用于实现车道线检测的车道线分割检测头、用于检测可行驶区域的可行驶区域分割检测头、用于车辆检测、道路坑洼检测和道路障碍物检测的目标检测头；检测头还包括用于区分不同的道路状态道路湿滑干燥分类检测头。

19、进一步，在步骤s3中，其过程为：

20、获取的车辆运动状态数据至少包括：速度、加速度、横向加速度、转向角；

21、采用滑动窗口技术，将数据分割成一系列的时间窗口，每个窗口以t时间长度为单位，在每个滑动窗口内，计算反映异常驾驶行为的数据指标值，其包括：速度平均值、纵向加速度差、横向加速度差、转向角度差；

22、设置指标阈值初始值，通过比较每个滑动窗口内的指标值与预设的阈值，实时判断车辆就仅基于车辆状态数据判断车辆是否处于异常驾驶状态，异常驾驶状态包括急加速、急减速、急转弯、急变道或超速；

23、mv＝mean(v0，v1，...，vn)

24、

25、式中：v0,v1...,vn为滑动窗口内每个时刻速度值；为滑动窗口内监测数据总时刻数；mean为滑动窗口内速度均值；a0,an分别为滑动窗口内第一时刻和最后一个时刻横向加速度和纵向加速度值；θ0，θn分别为滑动窗口内第一个时刻和最后一个时刻的转向角度值。

26、进一步，在步骤s4中，对各项监测数据进行初步评判，初步判别各项监测数据中是否存在影响道路安全的驾驶行为；

27、当驾驶员状态、乘客状态、道路环境、车辆状态均未出现异常，才为正常驾驶；

28、当存在严重异常驾驶行为时，直接转移驾驶权至高级智能辅助驾驶系统或者强制执行安全操作方法；其中，严重异常包括：监测到驾驶员出现晕厥、乘客直接抢方向盘、道路环境存在极大危险状况；

29、危险驾驶或疑似危险驾驶至少包括：驾驶员分心驾驶、疲劳驾驶、疑似急加减速、疑似急变道、前方道路有坑洼、道路湿滑情况。

30、进一步，在步骤s5中，对危险驾驶或疑似危险驾驶进行进一步精确识别，其包括以下过程：

31、基于驾驶员状态数据、道路环境数据、车辆运动数据，计算道路环境因子e和驾驶员状态因子d；

32、依据道路环境因子e和驾驶员状态因子d，动态更新异常驾驶行为指标阈值m，第一次判断是否有异常驾驶行为markabd；引入第一次异常驾驶行为标记表示为：

33、

34、其中，第一次判断异常驾驶行为，实时驾驶指标值a＜(1-e)(1-d)m0，m0为初始设置阈值，markabd置为0；a＞(1-e)(1-d)m0，markabd置为1；

35、对于道路环境因子e：道路环境监测模块检测出的道路状态异常、交通对象、获取的交通事件信息；对于驾驶员状态因子d：驾驶员状态监测模块检测出的驾驶员疲劳、分心；使用模糊逻辑规则确定每类危险等级系数α(α＜1)；最后基于逻辑回归算法设计计算得到道路环境因子e和驾驶员状态因子d：

36、

37、z＝∑αixi，i＝1，2，…，n

38、e、d取值为0～1，越接近1代表当前行车环境越危险或者驾驶员状态越危险；z为线性回归模型；xi为道路环境因素或者驾驶员因素指标；

39、引入特殊情形标志marks，进行第二次判断是否有异常驾驶行为f(markabd，marks)，其中：

40、

41、f(markadb，marks)＝markadb∧marks

42、即，当在不存在异常情况时，若出现异常驾驶行为，则判定异常驾驶；当存在异常情况时，进一步荣恶化分析道路环境状态、车辆运动状态、驾驶员状态判断驾驶行为是否异常；

43、由此，给出包括：超速异常驾驶行为判断模型、急变道异常行为判断模型、未保持安全车距异常驾驶行为判断模型、急加速、急减速、急转弯异常驾驶行为判断模型、视线偏离异常判断模型。

44、进一步，在步骤s5中，超速异常驾驶行为判断过程为：

45、s511：通过车载高精地图系统或其他高精设备软件获取正常道路环境下车辆所在位置的车道限速vmax；

46、s512：同时监测道路环境、车辆运动状态、驾驶员状态，获取车辆实时车速v，判断道路环境和驾乘人员状态是否正常，计算道路环境因子e和驾驶员状态因子d；

47、s513：若车辆处于正常道路且驾乘人员状态正常，当车辆实时车速v小于正常道路车道限速vmax，即v＜vmax时，则车辆正常行驶；当车辆实时车速v大于正常道路车道限速vmax，即v＞vmax时，则车辆超速行驶；

48、s514：若车辆处于非正常道路或驾乘人员状态非正常，动态更新车道限速阈值(1-e)(1-d)vmax，当车辆实时车速小于更新车道限速阈值，即v＜(1-e)(1-d)vmax时，则车辆正常行驶；当车辆实时车速大于更新车道限速阈值，即v＞(1-e)(1-d)vmax时，则车辆超速行驶。

49、进一步，在步骤s5中，急变道异常行为判断过程为：

50、s521：采用加速度阈值方法实现急变道行为识别，预先设置阈值横向加速度aymax；由车辆厂商给出数据或给定车辆基本与车道平行车辆宽度为wc；通过车载高精地图系统或其他高精设备软件获取当前车道宽度wr；

51、s522：同时监测道路环境、车辆运动状态、驾驶员状态；判断道路环境和驾乘人员状态是否正常，计算道路环境因子e和驾驶员状态因子d；检测车道线并获取当前车辆相对于车道中心的横向偏移量d0、车辆横向加速度ay；

52、s523：车辆在当前状态下前轮相对于左右车道标线的距离δw，依据车辆变道判别算法δw＝f(wr，wc，d0)，判断车辆是否变道；

53、

54、其中wr、wc分别表示车辆的两侧前轮相对于左、右车道标线的距离；当δw<0时，说明车辆在当前车道中；δw>0，即车辆偏离车道；

55、s524：若车辆未变道，进行车道压线检测以及车道偏离检测，判断车辆是否压线及车辆是否偏离车道；若车辆压线连续时间t1>设置阈值时间t1max，车辆压线预警；若车辆偏离车道连续时间t2>设置阈值时间t2max，车辆偏离车道预警；

56、s525：若车辆变道，车辆处于正常道路且驾乘人员状态正常，当车辆横向加速度小于预先设置阈值横向加速度，即ay＜aymax时，则车辆正常变道行为markabd＝0；当车辆横向加速度大于预先设置阈值横向加速度，即ay＞aymax时，则车辆疑似急变道行为markabd＝1；

57、s526：若车辆变道，车辆处于非正常道路或驾乘人员状态非正常，动态更新阈值横向加速度(1-e)(1-d)aymax，当车辆横向加速度小于动态更新后的阈值横向加速度，即a＜(1-e)(1-d)aymax时，则车辆正常变道行为markabd＝0；当车辆横向加速度大于动态更新后的阈值横向加速度，即a＞(1-e)(1-d)amax时，则车辆疑似急变道行为markabd＝1；

58、s527：若车辆疑似急变道行为，判断是否存在特殊情形，若为正常道路，不存在特殊情形marks＝1，则判定车辆为急变道行为；若为异常道路，marks＝0，则判定车辆为正常变道行为。

59、进一步，在步骤s5中，未保持安全车距异常驾驶行为判断流程为：

60、s531：预先设置驾驶员正常状态下安全车距lmax；

61、s532：同时监测道路环境、驾驶员状态，判断道路环境和驾乘人员状态是否正常，计算道路环境因子e和驾驶员状态因子d，并通过道路环境监测获取前方车辆车速、车距l，车辆距离计算公式：

62、l＝(f*w)/p

63、其中f是相机焦距，w是目标的宽度或者高度，p是指目标在图像中所占据的x方向像素的宽或者y方向像素的高；

64、s533：车辆处于正常道路且驾乘人员状态正常；当车辆与前方车辆实时车距小于安全车距，即l＜lmax时，则车辆正常行驶；当车辆与前方车辆实时车距大于安全车距，即l＞lmax时，则车辆跟车过近；

65、s534：车辆处于非正常道路或驾乘人员状态非正常，动态更新车辆安全车距(1-e)(1-d)lmax，当车辆与前方车辆实时车距小于动态更新后的安全车距，即l＜(1-e)(1-d)lmax时，则正常车距；当车辆与前方车辆实时车距大于动态更新后的安全车距，即l＞(1-e)(1-d)lmax时，则车辆跟车过近；

66、急加速、急减速、急转弯异常驾驶行为判断过程为：

67、s541：设置急加速、急减速、急转弯阈值、纵向加速度初阈值axmax，转向角度初阈值θmax；

68、s542：监测道路环境、车辆运动状态、驾乘人员状态，判断道路环境和驾乘人员状态是否正常，计算道路环境因子e和驾驶员状态因子d，得到车辆实时纵向加速度ax，转向角度θ；

69、s543：车辆处于正常道路且驾乘人员状态正常，当实时纵向加速度小于纵向加速度初阈值，实时转向角度小于转向角度初阈值，即ax＜axmax且θ＜θmax时，则车辆正常行驶markabd＝0；当实时纵向加速度大于纵向加速度初阈值，即ax＞axmax，则车辆疑似急加速、急减速markabd＝1；当实时转向角度大于转向角度初阈值，即θ＞θmax时，则车辆疑似急转弯markabd＝1；

70、s544：车辆处于非正常道路或驾乘人员状态非正常，当实时纵向加速度小于纵向加速度更新阈值，实时转向角度小于转向角度更新阈值，即ax＜(1-e)(1-d)axmax且θ＜(1-e)(1-d)θmax时，则车辆正常行驶markabd＝0；当实时纵向加速度大于纵向加速度更新阈值，即ax＞(1-e)(1-d)axmax，车辆疑似急加速、急减速markabd＝1；当实时转向角度大于转向角度更新阈值，即θ＞(1-e)(1-d)θmax时，则车辆疑似急转弯markabd＝1；

71、s545：对于疑似急减速、急转弯异常行为，判断是否存在特殊情形，若为正常道路，不存在特殊情形marks＝1，则判定车辆为急减速行为、急转弯行为；若为异常道路，marks＝0，则判定车辆为正常变道行为；

72、s546：对于疑似急异常行为，道路环境监测，监测后方车辆突然加速等异常道路marks＝0，则为正常驾驶；正常道路marks＝1，则为急加速异常行为；

73、视线偏离异常判断过程：

74、s551：预先设置驾驶员视线偏离时间阈值为tmax；

75、s552：监测道路环境、车辆运动状态、驾驶员状态，通过道路环境监测-车道线检测获取当前车辆处于直行还是转弯，a＝1，标志车辆处于直行道路；a＝0，标志车辆处于转弯道路，通过车辆运动状态监测获取车辆方向盘是否转弯数据，b＝1，标志车辆直行状态；b＝0，标志车辆即将转弯或者正在转弯，通过驾驶员状态监测获取驾驶员视线偏离数据，视线偏离时间t；

76、s553：若驾驶员视线偏离t>tmax，若车辆处于转弯道路，且车辆方向盘处于转弯状态，则为正常驾驶；若车辆处于直行道路，但方向盘处于转弯状态，则为异常驾驶；若车辆处于直行道路，但方向盘处于直行状态，则为分心驾驶。

77、本发明还提出一种适用于前述的基于多模态的异常驾驶行为判断方法的系统，其包括：驾乘人员状态监测模块、车辆运动状态监测模块、道路环境监测模块、异常驾驶危险等级预评判模块以及多模态数据融合判断模块，其中，驾乘人员状态监测模块用于获取驾乘人员的状态信息，并构建融合自适应梯度特征的双流时空卷积网络对驾乘人员的状态进行监测；车辆运动状态监测模块用于获取车辆运动状态，并通过滑动窗口阈值分类算法监测危险驾驶操作行为；道路环境监测模块用于获取道路环境信息，构建引入自注意力机制的多检测头跨阶段局部网络进行道路环境监测；异常驾驶危险等级预评判模块基于各项监测数据预判是否存在严重影响道路安全驾驶行为，将行为分为正常驾驶、疑似危险驾驶、危险驾驶、严重危险驾驶行为，其中，若存在严重危险驾驶行为直接转移驾驶权；若存在疑似危险驾驶或危险驾驶行为，则对此行为进一步识别；多模态数据融合判断模块通过构建基于逻辑回归的多指标阈值划分异常驾驶识别算法对存在疑似危险驾驶或危险驾驶行为的行为进行融合多模态数据的异常驾驶行为准确识别。

78、本发明的有益效果在于：

79、本发明设计一种系统同时监测驾驶员状态、车辆状态、环境状态，并设计多模态数据判断模型，提出基于逻辑回归的多指标动态阈值判断识别算法，引入道路环境融合考虑各因素对驾驶安全的影响，从多种尺度分析检测异常驾驶行为。

80、本发明提出的自适应多特征融合双流时空卷积网络(2s-hcstgcn)，融合多特征增加光照变化鲁棒性以及目标对象快速运动跟踪稳定性，弥补无法利用时间特征造成的检测能力下降问题。

81、本发明提出的危险驾驶操作行为滑动窗口阈值分类算法，以1秒滑动窗口处理庞大车辆实时行驶数据，降低计算量。

82、本发明提出的自注意力机制的多检测头跨阶段局部网络，进行多任务同步处理，有效降低计算复杂度及提高检测准确性。

83、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。