一种车路协同的多交通参与者轨迹与速度预测方法

本发明涉及车路协同自动驾驶领域，特别是涉及一种车路协同的多交通参与者轨迹与速度预测方法。

背景技术：

1、车辆“智能化”和“网联化”契合工业4.0时代信息物理融合的节奏，体现出多维度的产业优势和广阔的发展前景。然而，交通安全问题始终制约着自动驾驶的发展，随着城市化进程的不断推进和交通运输系统的日益复杂化，各类交通参与者如汽车、行人、骑行者等共同构成了错综复杂的交通网络。准确预测多类别交通参与者的未来一段时间的轨迹和速度信息，是智能汽车在城市环境中进行决策和控制，实现安全行驶的重要保证。

2、在多智能体轨迹和速度预测领域，以循环神经网络(例如rnn、lstm、gru等)为主体的神经网络方法占据主导地位。但是，复杂交通场景中的数据存在相关性和异质性，相关性表现于数据在时间维度和空间维度上自相关的关系；异质性表现于数据在不同时间或空间范围内表现为不同的模式，具体的表现是不同交通场景中，不同种类交通参与者表现出不同的交互处理模式。对于循环神经网络而言，一方面主要提取的是时序数据的特征，没有很好地考虑复杂交通场景中的交互，导致预测精度和可解释性较弱。另一方面，循环神经网络具有较大的模型计算参数量，且依赖于历史序列数据的特征提取，因此模型的泛化和迁移能力不足，在v2x自动驾驶的实际应用场景中，由于交通参与者种类变化以及车路传感系统存在视角差异等问题，现有的预测模型存在一定缺陷。

3、在现有成果中，存在通过相对位移进行交互信息量化，完成时空图建模的方法，但仅在单一种类交通参与者的轨迹预测任务中取得了较好效果。然而在自动驾驶风险预测任务中，往往是通过计算碰撞时间(ttx)或者场理论来完成的，需要同时获得相对位移和相对速度等运动信息，仅仅预测出未来轨迹并不足够。

4、另外，随着v2x通信技术和车路协同基本理论的发展，当下自动驾驶技术向着车、路、人、云协同一体化的趋势蓬勃发展，可是现有的多交通参与者轨迹与速度预测模型，并没有与车路协同一体化很好的契合，只考虑了传感器数据的数据级融合。一方面，当某一侧传感器出现故障时，系统的容错能力较弱；另一面，增加了数据传输量和存储量，加重了系统负担。

5、需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的主要目的在于克服上述背景技术的缺陷，提供一种车路协同的多交通参与者轨迹与速度预测方法。

2、为实现上述目的，本发明采用以下技术方案：

3、在第一方面，本发明提供一种车路协同的多交通参与者轨迹与速度预测方法，包括如下步骤：

4、s1：分别通过车载传感系统和路侧设施传感系统对含有多类别交通参与者的复杂交通场景进行数据采集；

5、s2：通过时空图方法进行复杂交通场景的建模，其中，针对交通参与者之间的相对位移和相对速度信息，通过核函数来量化场景中不同交通参与者之间的交互强度，并基于量化结果构建出度量交通参与者间的交互关系的邻接矩阵，来完成时空图场景建模；

6、s3：基于所述时空图，通过图卷积神经网络和时间卷积神经网络构建轨迹与速度预测模型，分别在车载端和路侧设施端进行交通参与者的轨迹与速度预测；

7、s4：通过卡尔曼滤波算法实现车端和路端的预测数据融合，完成基于车路协同v2x技术的多类别交通参与者轨迹与速度预测的最优状态估计。

8、进一步地，步骤s1中，所述复杂交通场景包括各类型交叉路口和人行横道；所述多类别交通参与者包括车辆、行人、骑行者，数据采集的设备包括视觉传感器、激光雷达、毫米波雷达、卫星导航定位系统中的一种或多种。

9、进一步地，步骤s2中，所述时空图是基于不同交通参与者之间的交互构建的，所述时空图表示为：

10、gt＝(v,et,at)

11、其中是v节点集合，et和at分别表示时刻t的边集和邻接矩阵，所述时空图的节点包含时序数据的属性特征，所述属性特征包括轨迹和速度；其中，将不同交通参与者之间交互的强弱量化为时空图的邻居节点间的信息流的大小，使用邻接矩阵度量节点间的交互关系。

12、进一步地，步骤s2中，所述时空图的构建包括以下步骤：

13、a1：确定序列数据的观测序列长度o和预测序列长度p；

14、a2：统计数据集o+p个连续序列中每个交通参与者出现次数n；

15、a3：进行序列完整性判断，剔除不满足出现次数n不等于观测与预测序列长度之和o+p的交通参与者数据；

16、a4：重复a2和a3的步骤，直到遍历整个数据集；

17、a5：将筛选过的交通参与者的轨迹、速度、类别信息赋予到时空图节点的属性中；

18、a6：通过节点的轨迹和速度属性实现多类别交通参与者交互信息的量化，并储存到时空图的邻接矩阵中；

19、a7：根据节点集合和邻接矩阵，完成复杂交通场景的时空图建模。

20、进一步地，步骤a7中，所述通过节点的轨迹和速度属性实现多类别交通参与者交互信息的量化，具体包括如下步骤：

21、b1：根据时空图节点属性，计算交通参与者的相对位移和相对速度；

22、b2：通过核函数实现基于相对位移的交互建模，计算出基于交通参与者相对位移的交互信息流；

23、b3：通过核函数实现基于相对速度的交互建模，计算出基于交通参与者相对速度的交互信息流；

24、b4：根据交通参与者的相对位移，使用注意力机制进行邻接矩阵的权重调整。

25、进一步地，步骤s3中，所述神经网络预测模型包括用于从所述时空图提取非结构化图数据特征的图卷积神经网络模块、用于基于所述时空图进行序列数据预测的时间卷积神经网络模块以及基于概率的输出层模块，其中，所述基于概率的输出层模块是对神经网络关于轨迹和速度的预测输出进行概率建模，构建为高斯二元分布的概率分布模型，优选地，所使用的损失函数为bivariate-loss函数。

26、进一步地，步骤s4中，所述数据融合具体包括如下步骤：

27、c1：测量和计算得到车端和路端感知单元的坐标系转换矩阵；

28、c2：根据预测模型输出的二元高斯分布进行计算得到协方差矩阵；

29、c3：根据步骤c1和c2得到的坐标系转换矩阵和相应协方差矩阵，使用卡尔曼滤波算法实现预测数据融合。

30、进一步地，所述方法还包括如下步骤：

31、s5：通过交叉验证实验确定模型中的超参数；

32、优选地，步骤s5具体包括如下步骤：

33、d1：选取合适的训练次数，通过交叉验证方法确定所述预测模型中的图卷积神经网络和时间卷积神经网络两个模块的网络层数；

34、d2：选取合适的训练次数，通过交叉验证方法确定核函数中的超参数；

35、d3：通过交叉验证方法确定训练超参数，所述训练超参数包括学习率、batchsize、优化器参数。

36、在第二方面，本发明提供另一种车路协同的多交通参与者轨迹与速度预测方法，包括如下步骤：

37、s1：分别通过车载传感系统和路侧设施传感系统对含有多类别交通参与者的复杂交通场景进行数据采集；通过卡尔曼滤波算法实现车端和路端的采集数据融合；

38、s2：使用融合后的数据，通过时空图方法进行复杂交通场景的建模，其中，针对交通参与者之间的相对位移和相对速度信息，通过核函数来量化场景中不同交通参与者之间的交互强度，并基于量化结果构建出度量交通参与者间的交互关系的邻接矩阵，来完成时空图场景建模；

39、s3：基于所述时空图，通过图卷积神经网络和时间卷积神经网络构建轨迹与速度预测模型，进行交通参与者的轨迹与速度预测；

40、s4：完成基于车路协同v2x技术的多类别交通参与者轨迹与速度预测的最优状态估计。

41、优选地，所述数据融合具体包括如下步骤：

42、c1：测量和计算得到车端和路端感知单元的坐标系转换矩阵；

43、c2：通过传感器测量结果计算得到协方差矩阵；

44、c3：根据步骤c1和c2得到的坐标系转换矩阵和相应协方差矩阵，使用卡尔曼滤波算法实现采集数据融合。

45、一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述车路协同的多交通参与者轨迹与速度预测方法。

46、本发明具有如下有益效果：

47、本发明的车路协同的多交通参与者轨迹与速度预测方法，在模型的预测精度、计算复杂度和可解释性方面取得了较好的综合效果，解决了自动驾驶在复杂交通场景的应用中，预测模型的泛化能力、场景迁移能力较弱，预测精度不足的问题。

48、相比以往的时空图场景建模方法只考虑相对位移，本发明同时考虑了相对位移和相对速度信息，来量化场景中不同交通参与者之间的交互，仅需通过交叉验证实验确定合适的核函数和模型参数，就可以完成多交通参与者轨迹预测和速度预测两个不同任务。

49、相比以往的轨迹预测和速度预测模型往往针对的是某一特定物体的预测，本发明可以对骑行者、行人、车辆等多种交通参与者都进行预测，其一，结合相对速度和相对位移信息，基于不同类别交通参与者的共性交互规律，来完成场景建模，使得即使只在某一类别交通参与者数据集上训练的模型，也能较为精确地对其他类型交通参与者进行预测；其二，引入了类别这一维度的信息，并基于此来完成模型的分类别训练。具体措施是每次训练仅对相应类别的预测网络进行反向传播和参数更新过程，而其他类别的预测网络不进行参数更新，来进一步更加精确地完成多类别预测任务。

50、此外，相比以往的交通参与者预测模型数据融合形式是在数据级层面，本发明将神经网络输出层定义为高斯二元分布概率输出，结合卡尔曼滤波算法，完成车路两套系统预测模型输出的决策级数据融合。相比数据级数据融合的核心优势在于提高了车路协同系统的容错能力，并降低了数据传输量和存储量。

51、结合图神经网络和时间卷积方法与常用于预测领域的循环神经网络相比，还减少了模型参数大小，提高了计算效率。

52、本发明实施例中的其他有益效果将在下文中进一步述及。