交叉口左转车与违规自行车交互行为的深度学习建模方法

本发明涉及一种智能车辆轨迹建模方法，适用于交叉口复杂交通流左转车与违规自行车交互行为的的轨迹预测。

背景技术：

1、在混合流交叉口场景中，不同交通流在共享的交通相位下通行，随之而来的较为频繁的潜在冲突成为日常城市交通的隐患。并且，在交叉口的各类交通对象中，左转车辆往往经受更多的风险。由于以电动自行车为代表的二轮小型车(如：摩托车、电动机车)往往对交通规则采取模糊遵守，且缺乏车载保护设施，通行在交叉口的该类对象进一步增长了严重事故的发生几率。因此，考虑环境中可能存在与电动自行车等车型冲突的情况下，规避混合流交叉口的左转事故对传统汽车或自动驾驶汽车都极为重要。

2、目前，交叉口左转车与电动自行车冲突行为建模需要解决多样性建模问题，车辆和电动自行车的行为往往伴随着一定的不确定性，这可能源于驾驶员和骑车人的决策、周围交通状况等。如何有效地建模和处理这种不确定性，以提高模型的稳定性和可靠性，是一个挑战。

3、而在交互与协同问题上，左转车与电动自行车的冲突行为通常涉及到交通参与者之间的交互和协同。模型需要考虑如何捕捉不同交通参与者之间的相互作用，以更真实地反映冲突行为。

4、在混合流交叉口的车辆行为建模中，现有深度学习模型或在特征提取方面不够全面，未被予以更细致深入地探索。以层次化社会力模型为代表的传统方法虽具有明确的物理意义，但引入较多的先验假设限制了模型对未知场景的泛化能力。其次，虽然基于深度学习的方法开始展现出应对复杂场景的性能优势，然而在驾驶意图更为动态、多元的左转车与自行车冲突场合下便欠缺合理性。因此，有必要构建模块化的深度学习模型，以便开展违规自行车对左转车行为影响的分析。

技术实现思路

1、提出一种模块化深度学习框架，用于进一步满足混合流场景下的车辆行为建模需求，解决了交叉口左转车辆与电动自行车的冲突问题，具体选用的场景为如图1所示的混合流交叉口。

2、为了实现上述目的，本发明的技术方案如下：包括以下步骤：

3、a、数据预处理

4、在视频中以0.12s为帧率对a区域的左转车辆和b区域的对角线穿行电动车轨迹数据进行手工提取。共采集了157辆左转车及191辆电动车的轨迹数据，分别包括9105和10811例左转车和电动车的位置样本。为保留车辆的形状大小信息以满足模型输入，每则车辆的位置样本都包含其4个顶点和中心点的物理坐标。场景中包含4个左转车辆可能选取的驶出车道目标点。用于进行像素坐标向物理坐标的变换的公式如下：

5、

6、其中，xi，yi表示物理坐标；xi，yi表示像素坐标；θ1～θ8表示坐标变换有关参数。

7、b、采用模块化深度学习框架，构建多个模块分别提取影响车辆轨迹的特征因素，将数据输入模块和编码器中，再综合上述提取所得的特征，在解码器中解码生成车辆未来的行驶轨迹。将车辆历史轨迹输入车辆运动编码器，提取车辆的历史轨迹特征；将从车辆到潜在目标点的相对位置输入驾驶意图提取模块，引入最大池化层，捕获前往潜在目标点的驾驶意图特征；再将前两个模块的输出输入目标流交互模块，用于建模目标流车辆之间的交互；将混合流对象历史轨迹和从车辆到混合流对象的相对位置输入混合流交互模块；再综合上述提取所得的特征，解码生成车辆未来的行驶轨迹。

8、c、将车辆历史轨迹输入车辆运动编码器，提取车辆的历史轨迹特征：

9、c1、使用多层感知机(mlp)对车身在每个独立时刻的运动特征进行编码，对于t时刻的车辆i，mlp网络以如下公式对运动状态进行编码，具体公式如下：

10、

11、

12、其中，φ表示relu非线性映射，表示t时刻的输入数据，表示v*顶点的二维位移向量，||表示向量拼接且s＝{fr，fl，br，bl}为车身顶点构成的集合，和wb为网络层间的权值矩阵。由此得到的每时刻车辆运动特征被记录在作为后续lstm时序编码的输入。

13、c2、使用lstm对这段输入序列的时序特征进行编码：

14、lstm单元的输入被定义为mlpb输出的车身运动嵌入lstm网络通过以下公式循环提取给定数据中的时序特征：

15、

16、其中，为t时刻的隐藏层状态；lstm表示长短时记忆网。

17、c3、使用vanilla lstm block为基础单元构建lstm网络：该单元内包含三种附带激活函数的门控结构(输入门、输出门和遗忘门)，一个名为constant error carousel的细胞状态，以及peephole connections

18、输入门公式：

19、

20、其中，表示上一单元的细胞状态；表示上一单元的隐藏层状态；表示输入门变量，该变量随后决定和中的哪部分信息需要被摄取；其中b*表示各偏置向量(*∈(i，f，c，o))；σ表示将数值映射到范围[0，1]的logistic sigmoid激活函数；w*(*∈(ie，ih，ic，fe，fh，fc，ce，ch，oe，oh，oc))表示各权值矩阵；

21、遗忘门公式：

22、

23、其中表示遗忘门变量；表示细胞状态信息；

24、记忆细胞公式：

25、

26、

27、其中，tanh表示将数值映射到范围[-1，1]的非线性函数；表示t时刻未经内部更新的细胞状态；

28、输出门公式：

29、

30、

31、其中表示输出门变量；和表示t时刻的相同维数的隐藏层状态和细胞状态。

32、d、将从车辆到潜在目标点的相对位置输入驾驶意图提取模块，引入最大池化层，捕获前往潜在目标点的驾驶意图特征：

33、d1、基于概率法对潜在目标点进行判定：

34、定义左转车辆的目标点{dst1，dst2，...，dstn}为直线l(穿过角落圆心并垂直于人行横道线方向的直线)与车道中心线{cl1，cl2，...，cln}的交点；由此，pd判定问题可被视为寻找符合条件的{dst1，dst2，...，dstn}的子集；在整个左转运动过程中，车辆最终驶入某车道的概率随其空间位置(由车身中点坐标表示)动态变化，当车辆i处在位置时，可被定义为满足以下条件的最大子集，具体公式如下：

35、

36、

37、其中，pmin为可调整的概率阈值，为潜在目标点，{dst1，dst2，...，dstn}为左转车辆的目标点。

38、对于每个车道，其在当前位置来看的驶入概率则根据数据集内所有通过相同位置的左转车辆轨迹中最终进入该车道的频率来衡量，公式如下：

39、

40、其中，为车辆i的在时刻t的离散坐标；代表通过位置的左转车辆轨迹中最终进入车道dstk的频率；表示最终进入该车道的频率。

41、d2、基于mlp的独立意图特征嵌入：

42、采用车辆到各个pd的相对位置作为mlp的输入，具体地，在估计时刻tobs，由车辆i到pd dstk的相对位置地公式如下：

43、

44、其中，为tobs时刻车辆i的位置，为pd dstk的位置，表示由车辆i到pd dstk的相对位置；

45、经mlp进行编码，具体公式如下：

46、

47、其中为单层mlp的权值矩阵，fr表示输入r层输入特征的维数，所得的向量为高维空间表示中车辆i在pd dstk作用下的意图特征。

48、各个pd对应所得的向量可构建为矩阵形式，具体公式如下：

49、

50、其中，k指代pd的总数。

51、d3、引入最大池化的多目标意图特征提取：

52、本模块在mlp的顶部搭建了1-d最大池化层，应用于此的1-d最大池化运算通过概述各个的信息得到一种压缩后的特征表示，具体公式如下：

53、ri＝mp1×k(rmi)

54、其中mp1×k表示带有1×k过滤器，作用于输入矩阵行上的最大池化运算；为池化得到的包含多目标意图特征的向量。

55、f、再将前两个模块的输出输入目标流交互模块，用于建模目标流车辆之间的交互：

56、f1、基于gat的交互建模：

57、gat由堆叠的自注意力层构成，各节点在注意力机制下聚合来自邻节点的信息：

58、自注意力层中的第一个运算为线性变换，目的是通过对输入经由至少一次的特征提取以增强网络的表示能力；随后，可计算得到注意力值用以衡量节点j对节点i的相对重要性，具体公式如下：

59、

60、其中，为共享于l层中所有节点的可训练权值矩阵；是用于降维的可训练权值向量leakyrelu为非线性激活函数；ni代表节点i的邻节点的集合。

61、节点状态经由加权的信息聚合得以更新，具体公式如下：

62、

63、其中ψ表示可选取的非线性函数；上述公式可被整理为更简洁的矩阵运算形式，具体公式如下：

64、g′l＝ψ(al·wl·gl)

65、其中al为各元素填充的非对称注意力矩阵。

66、为激励模型学习不同层面的节点特征，引入多头注意力机制：

67、来自k个彼此独立的注意力机制的输出通过拼接得到最终完整的特征表示，具体公式如下：

68、

69、f2、通过构建两层的gat用于建模左转车辆之间的交互。第一层的并行注意力头数设定为4，使得每个节点获得其邻节点的多种信息。为生成深层的交互特征及实现对长程交互的建模，进一步搭建包含单头注意力机制的第二层，以加深网络结构并扩充节点的接受域。

70、定义混合流交互模块的输入为车辆的独立特征输出为包含车辆交互特征的隐藏层向量；由第二层中所量化的节点重要性权重可被解释为存在于车辆交互中的影响强度；定义各车辆的邻节点为tobs时刻其它存在于其视野范围中的左转车辆：且此处dmax和θmax为距离和方位角上限。

71、引入注意力掩膜切断公式中softmax函数的反向传播路径以滤除与视野范围外车辆的链接。

72、g、将混合流对象历史轨迹和从车辆到混合流对象的相对位置输入混合流交互模块：

73、g1、将电动车历史运动信息及当前车辆到电动车的相对位置作为输入

74、电动车的前轮位移，经由与车辆历史轨迹数据的相同帧率及时间跨度的采样后，直接用于lstm的输入，具体公式如下：

75、

76、其中α为电动车id，和为t时刻电动车α的位移及隐藏层向量；表示为电动车对象分配的lstm编码器encoder中的权值矩阵。

77、模块中的第一层mlp对电动车α与车辆i的相对位置进行嵌入，具体公式如下：

78、

79、其中wp表示第一层mlp中的嵌入权重。

80、g2、对提取自两种原始数据的特征进行综合，得到对该部分交互特征的完整向量表示：

81、第二层mlp综合编码电动车运动特征及相对位置特征，具体公式如下：

82、

83、其中mi，α表示电动车α对车辆i运动的影响；wp和wvm分别为两层mlp中的嵌入权重。

84、为了在考虑计算效率的要求下压缩对车辆-电动车交互的特征表达，使用最大池化对上述公式的输出进行降维，具体公式如下：

85、mi＝mp1×ω([mi，α，mi，β，...，mi，ω])

86、其中mi为池化后得到的车辆-电动车交互特征的向量表示。

87、综合上述提取所得的特征，解码生成车辆未来的行驶轨迹：

88、车辆运动解码器由lstm和mlp构成，用于递归地生成由各时刻中心点位移和车身朝向共同描述的左转车辆未来运动；模型输出的朝向信息可由自车身中心点引向前边沿中点的向量来表示，lstm单元以上一时刻的运动预测作为当前的外部输入并接收过去的隐藏层状态，而后，当前生成的隐藏层状态通过mlp解码得到承接的运动预测，直至tobs+1～tpred时段的运动序列完整得到。递归过程的具体公式如下：

89、

90、

91、其中和分别为仿真得到的中心点位移向量和车身朝向向量和分别为lstm的内置权值矩阵和隐藏层向量。

92、由上游模块提取的多种特征的拼接加入高斯噪声变量z进行初始化，具体公式如下：

93、

94、损失函数设计：本模型损失函数公式如下：

95、

96、其中7表示场景中左转车辆的数量，tobs和tpred：观测时段和预测时段的最后时刻；和中心点位移和车身朝向的第k个预测结果。

97、在短时仿真实验中，所构建模型分别降低较之基线模型及先进模型47.7％和20.0％的平均位置误差。在递归仿真实验中，模型呈现了宏观层面还原全局轨迹和车道选择分布，以及微观层面有效规避与电动车冲突的效力。