车辆换道行为预测模型构建、预测预警方法及系统与流程

1.本发明属于辅助驾驶技术领域，涉及一种车辆换道行为预测模型构建、预测预警方法及系统，具体为一种将博弈理论和深度学习算法相结合进行车辆换道行为预测的方法，以及预测方法所需要的数据采集、车间通信和预警系统所需的警示显示等模块。


背景技术：

2.驾驶员的驾驶行为与道路交通安全密切相关，绝大多数的交通事故是由于驾驶操作不当造成的。在驾驶员的所有操作中，车辆横向操作(左右变道和转弯)对车流稳定性的影响最大，造成的事故最多。现有的高级驾驶辅助系统(advanced driver assistance system，adas)中集成了盲点预警系统(blind
‑
spot
‑
warning systems)和车道偏离预警系统(lane departure warning systems)，可以在一定程度上降低横向操作引起事故的概率，然而这些系统的正常运行依赖于驾驶员正确使用转向灯，而在实际生活中，有部分驾驶员在进行换道或者转弯之前并不使用转向灯来警示周围的车辆和路人，所以这些系统的作用是有限的，并不能解决由于横向操作而导致事故频发的问题。因此利用数学模型模拟驾驶员在驾驶过程中对周围行驶环境的感知与预期的驾驶状态，利用车载终端采集到的车辆运行数据准确高效地预测出驾驶员即将进行的诸如换道的横向操作，就可以达到在车辆运动状态转变之前警示周围可能受影响的车辆的目的，减少事故的发生，保障道路交通安全。
3.虽然最近的研究已经开始识别和预测驾驶行为，一方面其中一些研究使用的数据集为提前采集到的历史数据，因此构建完成的算法架构只能用来对已经发生过的驾驶操作进行识别，并不能实时预测驾驶员即将进行的驾驶行为；一方面目前有利用数学模型(隐马尔科夫模型、博弈论模型等)对实时的换道意图进行预测，虽然可以在换道行为发生之前预测出潜在的可能性，但是这种预测方式只能得出当前的行驶环境适合车辆换道的结论，驾驶员是否按照意图执行是未知的，因此在预测的准确率上难以得到保障；另一方面深度学习算法在预测类似驾驶行为数据的连续时间序列数据有独特的优势，可以通过大量的历史数据片段训练算法模型，达到精确预测的效果，但是这类算法往往是在换道行为开始发生后一段时间内才能得到较为准确的预测准确度，难以保证行为预测的实时性，在实际的交通应用中，每提前0.1秒预测出车辆的换道行为并警示周围车辆及人员，就有可能很大程度上减少事故的发生。


技术实现要素：

4.本发明针对现有技术的不成熟，提出一种车辆换道行为预测模型构建、预测预警方法及系统，筹考虑驾驶员的换道行为预测过程中的实时性和精确性的观点，在保证较高的预测精度即较低的误判率的前提下减少算法得到正确预测结果所需的时间序列数据长度，即在较短时间内得出正确的预测结果，并及时向周围车辆发送预警信息，着力解决驾驶员的换道行为预测难题。
5.为达到上述目的，本发明采取如下的技术方案：
6.一种车辆换道行为预测模型构建方法，该模型用于预测车辆换道行为，包括以下步骤：
7.步骤1、采集车辆行驶状态数据：
8.在每个车辆内设置车载终端，且该车载终端集成了can总线模块以采集车辆行驶数据、gps模块以获取车辆的定位数据、通信模块以实现车辆间数据通信和显示模块以显示采集到的车辆行驶状态数据；所述车辆行驶数据包括车辆的速度、加速度和转向角；
9.步骤2，车辆间数据通信：
10.每个车辆通过其通信模块将其车辆行驶状态数据发送到其他车辆，并接收其他车辆的车辆行驶状态数据，任意选定一个车辆作为目标车辆；
11.步骤3，获得目标车辆进行换道行为的换道意图概率：
12.目标车辆收到其他车辆的车辆行驶状态数据后，结合自身车辆行驶状态数据，利用博弈理论建立博弈矩阵，再对博弈矩阵求解获得目标车辆的换道意图概率；
13.步骤4，建立深度学习算法模型，将车辆行驶数据和换道意图概率作为车辆换道过程中的行驶样本数据，将行驶样本数据组成的训练样本集输入到深度学习算法模型，并将车辆是否进行换道作为深度学习算法模型的输出，对深度学习算法模型进行训练，得到训练后的深度学习算法模型作为车辆换道行为预测模型。
14.本发明还包括如下技术特征：
15.具体的，所述步骤3利用博弈理论建立博弈矩阵中，目标车辆受到速度较慢的前车影响时，目标车辆的策略包括换道或不换道；同时，目标车辆会影响临近车道后车的行驶使后车包括两种策略让道或不让道；因此目标车辆和后车间的博弈矩阵中包括以下情况：
16.对于目标车辆要求换道，后车给目标车辆让道情况下：目标车辆收益为u
svc
，后车收益为u
v1a
；
17.对于目标车辆要求换道，后车不给目标车辆让道情况下：目标车辆收益为u
svc
，后车收益为u
v1r
；
18.对于目标车辆不要求换道，后车给目标车辆让道情况下：目标车辆收益为u
svs
，后车收益为u
v1a
；
19.对于目标车辆不要求换道，后车不给目标车辆让道情况下：目标车辆收益为u
svs
，后车收益为u
v1r
。
20.具体的，不同策略下的各收益函数均由安全收益u
safety
和空间收益u
space
组成即：
21.u＝αu
safety
βu
space
，其中β为一个sigmoid函数，α＝1
‑
β；
22.其中：
23.[0024][0025]
上式中，t(t)为t时刻的车头时距,t
min
(t)为最小安全车头时距,d(t)为与前车距离,d
min
(t)为最小安全距离。
[0026]
具体的，目标车辆与后车的最小安全距离：
[0027][0028]
其中，a
v1
为后车加速度，a
sv
为目标车辆加速度，v
v1
为后车速度，v
sv
为目标车辆速度；
[0029]
目标车辆与后车的最小安全车头时距：
[0030]
t
min
(t)＝min(t
initial
,t
a
)
[0031]
其中，t
initial
为t时刻后车与其前车的车头时距，t
a
为固定值，设定为3。
[0032]
具体的，所述步骤3中，对博弈矩阵求解获得目标车辆的换道意图概率包括：
[0033]
首先目标车辆根据博弈矩阵判断对自己最大收益的策略，即换道或者不换道，然后后车根据目标车辆的决策，选择当前情况下对自己最大收益的反应，即让道或者不让道，再将反应反馈给目标车辆，不断循环，直到博弈双方均满意，达到最后均衡状态；
[0034]
根据博弈矩阵，在此均衡状态下，目标车辆的决策收益为u
sv
，相反的另一个决策收益为u
sv*
，则可量化的博弈结果即换道概率为：
[0035][0036]
其中，pro(t)为博弈结果，也是目标车辆的换道概率。
[0037]
具体的，所述深度学习算法模型由长短期记忆网络lstm和卷积神经网络cnn组成；深度学习算法模型中，隐藏层节点数量设置为100，学习速率为0.001，步长为8，在cnn中，卷积核为3
×
3矩阵，卷积步长为1。
[0038]
一种车辆换道行为预测预警方法，该方法包括以下步骤：
[0039]
步骤一，采集车辆行驶状态数据：
[0040]
在每个车辆内设置车载终端，且该车载终端集成了can总线模块以采集车辆行驶数据、gps模块以获取车辆的定位数据、通信模块以实现车辆间数据通信和显示模块以显示采集到的车辆行驶状态数据；所述车辆行驶数据包括车辆的速度、加速度和转向角；
[0041]
步骤二，车辆间数据通信：
[0042]
每个车辆通过其通信模块将其车辆行驶状态数据发送到其他车辆，并接收其他车辆的车辆行驶状态数据；
[0043]
步骤三，通过所述的车辆换道行为预测模型构建方法中步骤3的方法获得目标车辆进行换道行为的换道意图概率；
[0044]
步骤四，将目标车辆的行驶状态数据以及换道意图概率作为输入，导入所述的训练后的深度学习算法模型中，预测目标车辆是否换道；若预测目标车辆将进行换道，则在其
他车辆的车载终端显示预警信息。
[0045]
一种车辆换道行为预测预警系统，其特征在于，包括：
[0046]
车辆行驶状态数据采集模块，包括在每个车辆内设置的车载终端，且该车载终端集成了can总线模块以采集车辆行驶数据、gps模块以获取车辆的定位数据、通信模块以实现车辆间数据通信和显示模块以显示采集到的车辆行驶状态数据；
[0047]
车辆间数据通信模块，用于将每个车辆的车辆行驶状态数据发送到其他车辆，并接收其他车辆的车辆行驶状态数据；
[0048]
目标车辆进行换道行为的换道意图概率获取模块，用于在目标车辆收到其他车辆的车辆行驶状态数据后，结合自身车辆行驶状态数据，利用博弈理论建立博弈矩阵，再对博弈矩阵求解获得目标车辆的换道意图概率；
[0049]
目标车辆换道预测及预警模块，用于将目标车辆的行驶状态数据以及换道意图概率作为输入，导入训练后的深度学习算法模型中，预测目标车辆是否换道；若预测目标车辆将进行换道，则在其他车辆的车载终端显示预警信息。
[0050]
本发明与现有技术相比，有益的技术效果是：
[0051]
1.本发明可以利用车载终端实时采集、发送和接收车辆行驶状态。2.本发明可以利用车辆行驶状态数据推测出车辆将要进行换道行为的意图。3.本发明可以将换道意图与行驶状态数据结合，及时准确地预测出车辆的换道行为。4.本发明可以将预测出的换道行为以车间通信的方式发送到周围车辆的车载终端，起到预警作用。
附图说明
[0052]
图1是本发明的换道预测及预警系统实现流程示意图；
[0053]
图2是车载终端设计框架示意图；
[0054]
图3是车载终端硬件设备示意图；
[0055]
图4是车间通信系统运行界面示意图；
[0056]
图5是车辆换道行为场景示意图；
[0057]
图6是预测模型预测正确率示意图；
[0058]
图7是预警信息显示示意图。
具体实施方式
[0059]
本发明为了解决现有技术的预测准确率低和预测用时较长的问题，通过结合博弈论和深度学习技术，从数据中获取不同车辆在行驶过程中的动态交互作用，对车辆周围行驶环境信息的分析，利用博弈理论判断当前环境是否适合车辆换道，进而量化驾驶员的换道意图，在确定驾驶员有换道意图的情况下，利用深度学习算法识别并预测车辆的运行数据，当运行数据开始满足车道改变的特征时，整个模型可以在短时间内得到车辆正在执行换道操作的预测结果；本发明还可以将车辆即将进行换道的预测结果利用车载终端发送到周围车辆，达到提前预警的作用，最大程度避免事故，解决了现有技术无法及时对周围车辆发出预警的问题。
[0060]
以下对本发明涉及的定义或概念内涵做以说明：
[0061]
博弈论：博弈论，又称为对策论(game theory)、赛局理论等，既是现代数学的一个
新分支，也是运筹学的一个重要学科。一般由以下几个要素组成，包括：参与人、行动、信息、策略、收益、结果、均衡等。
[0062]
博弈矩阵：参与博弈的多个参与者的策略集合可以用一个矩阵或框图表示，这样的矩阵或框图就叫做博弈矩阵。
[0063]
收益函数：参与博弈的每个参与者在参与博弈时依据其所属类型和选择的行动可获得的收益计算函数。
[0064]
安全收益函数：参与博弈的每个参与者可获得的在行驶安全方面的收益计算函数。
[0065]
空间收益函数：参与博弈的每个参与者可获得的在行驶空间方面的收益计算函数。
[0066]
以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0067]
本发明提供一种车辆换道行为预测模型构建方法，如图1所示，该方法包括以下步骤：
[0068]
步骤一，采集车辆行驶状态数据：
[0069]
在每个车辆内设置车载终端，且该车载终端集成了can总线模块以采集车辆行驶数据、gps模块以获取车辆的定位数据、通信模块以实现车辆间数据通信和显示模块以显示采集到的车辆行驶状态数据，如图2至图4所示，图2是车载终端设计框架示意图，图3是车载终端硬件设备示意图，图4是车间通信系统显示模块运行界面示意图；车辆行驶数据包括车辆的速度、加速度和转向角；
[0070]
进一步，步骤一中，车载终端采用mcu主控板 通信模组的设计方案，主控板使用nxp imx6开发板，集成了can处理芯片和外部接口，gps模块采用neo7n模组；可以采集车辆行驶过程中的can总线数据和gps数据。
[0071]
步骤二，车辆间数据通信：
[0072]
每个车辆通过其通信模块将其车辆行驶状态数据发送到其他车辆，并接收其他车辆的车辆行驶状态数据，任意选定一个车辆作为目标车辆，如图5中的a车辆即为目标车辆；
[0073]
进一步，步骤二中，车辆间通信设备为集成在mcu主控板上的中兴zm8350 c
‑
v2x模组，完成数据的发送和接收任务。
[0074]
步骤三，获得目标车辆进行换道行为的换道意图概率：
[0075]
目标车辆收到其他车辆的车辆行驶状态数据后，结合自身车辆行驶状态数据，利用博弈理论建立博弈矩阵，再对博弈矩阵求解获得目标车辆的换道意图概率；进一步，步骤三中，博弈理论中将驾驶员之间的博弈视为完全信息下的非合作静态博弈。
[0076]
更具体的，步骤三利用博弈理论建立博弈矩阵中，目标车辆受到速度较慢的前车影响时，目标车辆的策略包括换道或不换道；同时，目标车辆会影响临近车道后车的行驶使后车包括两种策略让道或不让道；因此目标车辆和后车间的博弈矩阵如下：
[0077]
表1目标车辆和后车间的博弈矩阵
[0078][0079]
博弈矩阵中包括以下情况：
[0080]
对于目标车辆要求换道，后车给目标车辆让道情况下：目标车辆收益为u
svc
，后车收益为u
v1a
；
[0081]
对于目标车辆要求换道，后车不给目标车辆让道情况下：目标车辆收益为u
svc
，后车收益为u
v1r
；
[0082]
对于目标车辆不要求换道，后车给目标车辆让道情况下：目标车辆收益为u
svs
，后车收益为u
v1a
；
[0083]
对于目标车辆不要求换道，后车不给目标车辆让道情况下：目标车辆收益为u
svs
，后车收益为u
v1r
。
[0084]
不同策略下的各收益函数均由安全收益u
safety
和空间收益u
space
组成即：
[0085]
u＝αu
safety
βu
space
，其中β为一个sigmoid函数，α＝1
‑
β；
[0086]
其中：
[0087][0088][0089]
上式中，t(t)为t时刻的车头时距,t
min
(t)为最小安全车头时距,d(t)为与前车距离,d
min
(t)为最小安全距离。
[0090]
目标车辆与后车的最小安全距离：
[0091][0092]
其中，a
v1
为后车加速度，a
sv
为目标车辆加速度，v
v1
为后车速度，v
sv
为目标车辆速度；
[0093]
目标车辆与后车的最小安全车头时距：
[0094]
t
min
(t)＝min(t
initial
,t
a
)
[0095]
其中，t
initial
为t时刻后车与其前车的车头时距，t
a
为固定值，设定为3。
[0096]
步骤三中，对博弈矩阵求解获得目标车辆的换道意图概率包括：
[0097]
首先目标车辆根据博弈矩阵判断对自己最大收益的策略，即换道或者不换道，然后后车根据目标车辆的决策，选择当前情况下对自己最大收益的反应，即让道或者不让道，再将反应反馈给目标车辆，不断循环，直到博弈双方均满意，达到最后均衡状态；
[0098]
根据博弈矩阵，在此均衡状态下，目标车辆的决策收益为u
sv
，相反的另一个决策收益为u
sv*
，则可量化的博弈结果即换道概率为：
[0099][0100]
其中，pro(t)为博弈结果，也是目标车辆的换道概率；如经过博弈，目标车辆的决策为换道，目标车辆的换道概率可计算为：
[0101][0102]
步骤四，建立深度学习算法模型，将车辆行驶数据和换道意图概率作为车辆换道过程中的行驶样本数据，将行驶样本数据组成的训练样本集输入到深度学习算法模型，并将车辆是否进行换道作为深度学习算法模型的输出，对深度学习算法模型进行训练，得到训练后的深度学习算法模型作为车辆换道行为预测模型。深度学习算法模型由长短期记忆网络lstm和卷积神经网络cnn组成；其中lstm的网络结构可用三个控制门和一个记忆状态来描述，可用下式表示：
[0103]
输入门：
[0104][0105][0106]
遗忘门：
[0107][0108][0109]
输出门：
[0110][0111][0112]
存储单元：
[0113]
[0114][0115]
输出：
[0116][0117]
在上述方程中，为各时刻的输入数据，由车辆行驶状态(横/纵向速度、横/纵向加速度、转向角)和博弈论模型的结果组成。表示对前一时刻信息的记忆。是由输入数据和单元(cell)状态组成的，每一个都代表了网络中对应部分的计算，包括输入门、遗忘门、输出门和存储单元(cell)。分别是各部分在不同激活函数后的输出。ω
il
、ω
cl
、ω
iw
、ω
cw
分别为网络的权重矩阵。在网络的学习过程中，它们的值逐渐趋于最佳权值。这个模块的结果是它代表blocks的输出。
[0118]
lstm处理后的数据导入到cnn组件中，进一步从结果中提取特征；cnn的数学模型用以下函数表示：
[0119]
卷积层：卷积层的功能是对输入数据进行特征提取，组成卷积核的每个元素都对应一个权重系数和一个偏差量。
[0120][0121]
池化层：在卷积层进行特征提取后，输出的特征会被传递至池化层进行特征选择和信息过滤。
[0122]
c＝[c1，c2，
…
，c
n
‑
k 1
]
[0123][0124]
其中c
i
为卷积结果，w∈r和b∈r为卷积过程中的参数，表示卷积核和偏置。
[0125]
c∈r和是池化进程的简单表达式；在进行卷积和池化操作后，使用全连通层输出整个模型对车辆是否变道的预测结果。
[0126]
更具体的，在本实施例中，深度学习算法模型中，隐藏层节点数量设置为100，学习速率为0.001，步长为8，在cnn中，卷积核为3
×
3矩阵，卷积步长为1。
[0127]
本实施例中，样本数据为提前采集和切分并人工标注的车辆换道过程中的行驶数据片段，数据维度包括横/纵向速度、横/纵向加速度、转向角以及博弈结果，每个样本片段长度为20条，数据频率为10hz，共使用1659条换道样本以及986条不换道样本对网络进行训练，其中右变道样本个数为509个，左变道样本个数为1150个。
[0128]
本实施例中，训练后的网络预测结果如图6所示，准确率可达94％左右。
[0129]
本发明还提供一种车辆换道行为预测预警方法，该方法包括以下步骤：
[0130]
步骤一，采集车辆行驶状态数据：
[0131]
在每个车辆内设置车载终端，且该车载终端集成了can总线模块以采集车辆行驶数据、gps模块以获取车辆的定位数据、通信模块以实现车辆间数据通信和显示模块以显示
采集到的车辆行驶状态数据；所述车辆行驶数据包括车辆的速度、加速度和转向角；
[0132]
步骤二，车辆间数据通信：
[0133]
每个车辆通过其通信模块将其车辆行驶状态数据发送到其他车辆，并接收其他车辆的车辆行驶状态数据；
[0134]
步骤三，通过所述的车辆换道行为预测模型构建方法中步骤3的方法获得目标车辆进行换道行为的换道意图概率；
[0135]
步骤四，将目标车辆的行驶状态数据以及换道意图概率作为输入，导入所述的训练后的深度学习算法模型中，预测目标车辆是否换道；若预测目标车辆将进行换道，则在其他车辆的车载终端显示预警信息，如图7所示。
[0136]
本发明还提供一种车辆换道行为预测预警系统，包括：
[0137]
车辆行驶状态数据采集模块，包括在每个车辆内设置的车载终端，且该车载终端集成了can总线模块以采集车辆行驶数据、gps模块以获取车辆的定位数据、通信模块以实现车辆间数据通信和显示模块以显示采集到的车辆行驶状态数据；
[0138]
车辆间数据通信模块，用于将每个车辆的车辆行驶状态数据发送到其他车辆，并接收其他车辆的车辆行驶状态数据；
[0139]
目标车辆进行换道行为的换道意图概率获取模块，用于在目标车辆收到其他车辆的车辆行驶状态数据后，结合自身车辆行驶状态数据，利用博弈理论建立博弈矩阵，再对博弈矩阵求解获得目标车辆的换道意图概率；
[0140]
目标车辆换道预测及预警模块，用于将目标车辆的行驶状态数据以及换道意图概率作为输入，导入训练后的深度学习算法模型中，预测目标车辆是否换道；若预测目标车辆将进行换道，则在其他车辆的车载终端显示预警信息。
[0141]
实验验证：
[0142]
对比现有的技术效果和实验效果，在算法的预测准确率和预测用时方面，利用真实数据对现有的技术和本发明中提出的技术进行检验，检验结果如下表1所示：
[0143]
表1试验结果
[0144][0145]
上述试验结果说明本发明提高了基于博弈论的换道行为预测算法的准确率，减少了基于深度学习算法的预测所用时间。
[0146]
本发明提出了完整的行为预测流程，包括数据采集、车间通信、预测算法、预警模块，从理论和实践上实现了驾驶员的换道行为精确预测和预警。数据采集模块保证了本发明真实情况下的数据来源，达到实时采集车辆运行数据的目的；车间通信模块保证了车联网的有效性以及本发明的可行性，可以完成车辆间的数据传输和预警信息的发送；预测算法将博弈理论与深度学习相结合，在保证预测精度的前提下尽可能地减少了预测所用时
间；预警模块利用车间通信将预测结果发送到显示设备上，可以达到提醒其他车辆驾驶员的目的。