基于多模态的驾驶风格检测方法

本发明涉及驾驶风格检测，具体为基于多模态的驾驶风格检测方法。

背景技术：

1、驾驶风格检测的本质是确定多种驾驶风格中的一种，这是一个与驾驶员个性和行为特征相关的时间序列模式检测问题。许多研究采用模糊控制理论处理这种检测问题。

2、随着机器学习技术的发展，相关方法被用于风格检测。rnn、lstm、gru等模型适合处理时序问题，可以拟合车辆状态参数和驾驶风格之间的非线性关系。随着机器学习技术的发展，rnn、lstm、gru等模型因其擅长处理时序问题，被广泛应用于分析车辆状态参数与驾驶风格之间的非线性关系。尽管lstm和gru设计上有助于缓解梯度消失问题，但这些模型仍然需要大量的参数，可能导致过拟合。因此，急需开发一种能够整合多种数据源的多模态驾驶风格检测方法，该方法应能在短时间内高效地对数据进行分类并训练gru模型，以便快速检测驾驶风格。

技术实现思路

1、针对现有技术的不足，本发明提供了基于多模态的驾驶风格检测方法。

2、为实现上述目的，本发明提供如下技术方案：基于多模态的驾驶风格检测方法，包括：

3、步骤一.从can总线、摄像头和激光雷达中获取行驶数据，行驶数据包括方向盘转角变化率、车速波动性、加速度和减速度、刹车频率、刹车强度、变道频率和跟车距离；

4、步骤二.通过行驶数据对驾驶风格进行初步分类；

5、步骤三.使用门控循环单元模型(gru模型)对输入的时间序列行驶数据中的方向盘转角变化率、车速波动性、加速度和减速度和刹车频率进行处理，预测出多种驾驶风格的初始概率分布，门控循环单元模型模型通过学习历史行驶数据和当前行驶数据的关系，计算出各驾驶风格的概率；

6、步骤四.通过c-net网络和激光雷达数据进一步细化了驾驶风格的概率预测，对五种驾驶风格的概率分布进行了更新,得到更新后的概率分布p′1、p′2、p′3、p′4和p′5，更新方式如下,

7、p′i＝α*pi+(1-α)*fi

8、其中，α为调节参数，pi为初始的概率分布，p′i为更新后的概率分布，fi为基于变道频率的概率分布；

9、步骤五.使用高斯混合模型(gmm)更新方法，根据新的行驶数据更新驾驶风格的概率分布；

10、步骤六.根据更新后的概率分布，选择概率最高的驾驶风格作为当前驾驶风格。

11、具体地，所述变道频率获取方式为，通过摄像头收集行驶过程中的图像，并运用这些图像通过c-net网络进行车道检测，获得变道频率数据。

12、具体地，所述c-net网络由编码器、cot模块和解码器组成；编码器采用vgg-16网络，解码器由串联的多个双通道上采样模块组成，编码器和解码器构成u型网络，编码器和解码器之间采用跳层连接，u型网络的底部为cot模块。

13、具体地，所述跟车距离通过激光雷达点云数据获取，包括如下步骤：

14、1)获取点云数据；

15、2)对点云数据进行处理，包括降采样和提取感兴趣区域内的点云数据；

16、3)所述感兴趣区域内的点云数为单车道内的点云数据，不包括将道路外的树木、灌木丛、路灯杆等非车辆物体对应的点云；

17、4)采用联合概率数据关联跟踪器结合交互多模型方法，实现对前方车辆的精确跟踪和速度测量；

18、所述联合概率数据关联跟踪器结合交互多模型方法的具体步骤如下：

19、(4_1)数据预处理与分类：通过基于距离的聚类算法处理激光雷达数据，将点云数据分割为包含地面和障碍物的类别，并将障碍物类别的点云进一步分组成簇；

20、(4_2)边界框生成与角度确定：对每个簇，生成相应的边界框，采用格式[x,y,z,θ,l,w,h]，其中x,y,z表示边界框中心的坐标，θ表示边界框的偏航角，l,w.h分别代表边界框的长度、宽度和高度，利用l形拟合算法确定边界框的偏航角；

21、(4_3)状态模型定义与选择：定义车辆的状态模型及其状态转换，状态模型包括恒定速度模型和恒定转弯率模型；恒定速度模型为，

22、

23、恒定转弯率模型为，

24、

25、其中，(x,y,z)表示车辆中心点的空间坐标，代表在对应方向上的速度分量，θ和分别表示偏航角和偏航角速度，l,w,h分别为车辆的长度、宽度和高度；这两种模型分别描述车辆在直线行驶和转弯行为时的动态特性，恒定速度模型用于描述车辆在直线行驶时的状态，而恒定转弯率模型则用于描述车辆在转弯过程中的状态；

26、(4_4)imm方法应用：使用交互多模型方法在恒定速度和恒定转弯率模型之间动态切换，根据实际驾驶情况提供最准确的状态估计，这一方法根据车辆的实际行驶状况自动选择最合适的状态模型，实际行驶状况包括直行或转弯；当车辆直线行驶时，前方车辆相对于本车的速度通过x&分速度直接获取；当车道变换时，假设前方车辆暂时不存在；

27、(4_5)跟车距离计算：通过测量两车边界框中心点在x轴方向的相对位置差来计算跟车距离d：

28、d＝δx＝x前车-x本车

29、其中，x前车为前车在变边界框中心点在x轴方向的坐标点，x本车为本车在变边界框中心点在x轴方向的坐标点。

30、优选地，所述驾驶风格包括环保型驾驶风格、谨慎型驾驶风格、敏感型驾驶风格、激进型驾驶风格和愤怒型驾驶风格。

31、具体地，所述门控循环单元模型的训练过程如下：

32、(1)假定t时刻的输入数据集包括方向盘转角变化率、车速波动性、加速度和减速度、刹车频率；加载特征向量x(t)，该向量包括方向盘转角变化率、车速波动性、加速度和减速度、刹车频率这四种输入特征数据；

33、(2)使用加载的特征向量x(t)和上一gru层输出的隐状态ht-1计算重置门rt和更新门zt的门控状态，如式所示：

34、rt＝σ(wrx(t)+urht-1+br)

35、

36、其中，wr,ur是重置门的权重参数，br是重置门的偏差参数；wz,uz是更新门的权重参数，bz是更新门的偏差参数；σ是sigmoid激活函数，用于数据归一化至0-1范围；

37、(3)获得门控信号后，利用重置门得到重置后的数据h't-1，再将其与特征向量合并，得到候选隐藏状态h't，它主要包含当前输入的数据信息，隐藏状态h't的计算为：

38、

39、其中，wh表示计算候选隐藏状态权重参数，uh表示计算用于前一时间步的隐藏状态权重参数，bh为偏差参数，该步表示重置门控制了如何整合历史信息到当前候选状态；

40、(4)进行更新记忆阶段，使用当前时间步的更新门zt整合上一时间步的隐状态ht-1和当前时间步的候选隐藏状态h't，得到当前时间步的隐藏状态ht，

41、ht＝zteht-1+(1-zt)eh't

42、(5)计算输出，通过softmax函数将输出分数转换成概率分布，输出概率矩阵yt，

43、yt＝softmax(htwy+by)

44、其中，wy是权重参数，by是偏差参数；输出最高概率值对应的类别索引，即为识别出的驾驶风格。

45、具体地，所述方向盘转角变化率的计算公式为，

46、

47、其中，δθ表示方向盘转角变化率，θ是方向盘转角，t是时间，该表达式表示单位时间内方向盘转角的变化量，用于反映驾驶员转向行为的频繁程度和强度；

48、所述车速波动性的计算公式为，

49、

50、其中，σv表示车速的标准差，vi是第i次测量的车速，是车速平均值，n是测量次数；

51、所述加速度或减速度的计算公式为，

52、

53、其中，a表示加速度或减速度，v是车速，t是时间，该表达式表示单位时间内车速的变化量，用于反映驾驶员加速和减速的强度；

54、所述刹车频率和强度的计算公式为，

55、

56、其中，fbrake表示刹车频率，nbrake是一段时间内刹车的次数，t是该时间段的长度；ibrake表示刹车强度，δv是刹车过程中的速度变化量，δt是刹车时间；

57、所述变道频率计算公式为，

58、

59、其中，flane-change表示变道频率，nlane-change是一段时间内变道的次数，t是该段时间段的长度。

60、优选地，所述从can总线获取行驶数据由固定时间窗口采集得到。

61、具体地，所述门控循环单元模型的训练过程中，选用nadam优化器，使用交叉熵损失函数，batch设置为256，训练实施早停策略，定性周期epoch设置为10。

62、与现有技术对比，本发明具备以下有益效果：

63、1、该种基于多模态的驾驶风格检测方法，首先从车辆的can总线数据中提取关键信息作为模型的输入，接下来，采用门控循环单元(gru)网络对输入数据进行处理，然后引入了cot模块加强的车道检测技术，通过精确的车道信息提取，随后，基于从车道检测中获得的结果，对五种驾驶风格的概率分布进行了更新，得到最终的五种驾驶风格的概率分布，该结果可用于准确识别和分类驾驶风格，通过结合车辆动态数据、车道信息以及高精度的环境感知数据，实现了对驾驶风格的深入理解和准确预测，为智能驾驶系统的开发和优化提供了重要的技术支持。

64、2、该种基于多模态的驾驶风格检测方法，通过将cot模块融合到车道检测网络(如c-net)中，可以显著提升模型对车道线特征的理解和表达能力，在c-net的编码器和解码器之间插入cot模块，可以在特征下采样和上采样的过程中利用cot模块处理后的特征，这样做可以在编码阶段增强对车道线等关键特征的全局理解，并在解码阶段有效地将这些全局上下文信息引导到上采样过程中，提升重构图像的准确度，通过这种方式，cot模块为c-net带来了全局上下文的洞察力，提升了车道检测的精度和鲁棒性，规避传统的卷积网络可能在捕获全局上下文信息方面存在局限性。

65、3、该种基于多模态的驾驶风格检测方法，还融合了激光雷达点云数据，这些数据提供了车辆周围环境的详细三维视图，进一步细化了驾驶风格的概率预测，激光雷达数据的引入，为模型提供了深层次的环境感知能力，使得驾驶风格的判定更加精细和全面。