一种基于异质动态图注意网络的多智能体轨迹预测方法

本发明涉及智能交通的自动驾驶轨迹预测的，尤其涉及一种基于异质动态图注意网络(hdeat)的多智能体轨迹预测方法。

背景技术：

1、随着人工智能的发展，自动驾驶车辆(av)与智能交通系统(its)之间的互动显著增加。面对高度复杂的城市驾驶环境，预测道路使用者的未来运动是开发安全可靠自动驾驶系统的关键。将预测轨迹用于执行安全导航，自动驾驶车辆就能提前做出明智的决策，避免可能发生的事故，从而提高了系统的整体安全性、效率和舒适性。

2、现有的预测方法可以分为三类：基于物理的方法、基于机动的方法和交互感知的方法。基于物理的方法考虑智能体的动力学来预测其运动行为，但忽略了受道路结构和周围智能体运动及交互行为影响限制的可能机动。基于机动的方法考虑了机动选项，并以机动为条件进行预测，但忽略了周围智能体的影响。最近，交互感知的方法能以更高的效率和更好的性能解决智能体之间的交互问题。现有的大多数交互感知方法主要通过三种机制来建立更通用的交互模型：以空间为中心的机制、注意力机制和基于图的机制。以空间为中心的机制在统一的空间域中表示智能体的轨迹，并利用空间关系建立交互模型。注意力机制通过集合操作、注意力操作或者transformer结构聚合场景中周围智能体的信息。基于图的机制通过图结构明确地模拟智能体之间的交互。但大多数现有的轨迹预测方法主要集中在预测单个智能体轨迹的场景表示上，忽略了交通参与者的异质性以及交互随着时间变化的动态性。

3、申请号为202211605052.2的发明专利公开了一种自动驾驶车辆反应式轨迹预测方法及系统，该方法包括根据主车的规划轨迹和历史轨迹，采用自动驾驶车辆反应式轨迹预测模型，确定目标车的预测轨迹；预测模型包括：用于根据车的规划轨迹和历史轨迹确定轨迹编码向量的lstm编码器、用于根据轨迹编码向量确定的隐藏向量的反应式社交卷积模块、用于根据轨迹编码向量和时空注意力机制确定时空注意力向量的时空注意力模块、用于将隐藏向量和时空注意力向量利用不同的权重系数进行融合确定隐层张量信息的门融合层、用于对隐层张量信息进行解码的lstm网络解码器以及softmax分类器；根据预测轨迹更新主车的规划轨迹。上述发明的轨迹预测方法可实现在较长预测时域内获取高精度车辆预测轨迹，但上述发明还是集中预测单个智能体轨迹的场景表示上，并未解决实际驾驶场景中具有如车辆、行人或自行车不同类型的交通参与者问题。

技术实现思路

1、针对现有轨迹预测方法主要集中在预测单个智能体轨迹的场景表示上，忽略了交通参与者的异质性以及交互随着时间变化的动态性问题，本发明提出一种基于异质动态图注意网络的多智能体轨迹预测方法，使用特定类型的编码器以及解码器去捕捉交通参与者的异质性，有效建模真实驾驶场景情况，同时，使用异质动态图注意网络去捕捉空间交互动态性，从而获得动态关系推理。

2、为了达到上述目的，本发明的技术方案是这样实现的：

3、一种基于异质动态图注意网络(hdeat)的多智能体轨迹预测方法，利用智能体的动态、交互以及地图的多通道融合特征，为轨迹预测提供了丰富的场景表示信息，利用门机制有选择地为不同类型以及速度的智能体共享地图，实现地图选择的自适应性，引入了含有边特征的异质动态图注意网络来捕捉交通参与者的异质性。在此基础上，通过为邻域不断变化的智能体重建适当的子图来捕捉空间动态交互。此外，还引入了一种三元素关系表示法：交互强度、交互类别和交互函数，为多个异质交互智能体进行明确的关系识别和预测，从而获得动态关系推理。相比于一般基于图神经网络的轨迹预测方法，本发明在轨迹预测的准确性和安全性方面具有卓越的性能，可以提高交通效率，适应于更广泛的交通需求变化。

4、一种基于异质动态图注意网络的多智能体轨迹预测方法，包括以下步骤：

5、s1：对运动数据集中的轨迹序列数据进行预处理，将预处理后的运动数据集随机划分为训练集和测试集，获取轨迹序列特征；

6、s2：根据智能体的类型，通过对应特定类型的编码器将步骤s1中的轨迹序列特征转换为动态特征；

7、s3：将步骤s1获得的轨迹序列数据转换为图结构数据，将步骤s2获得的动态特征填充到图结构中，形成能够表示智能体间互动的有向边特征异质图，利用异质节点涵盖交通参与者的异质性；

8、s4：将有向边特征异质图输入到异质动态图注意网络中，通过异质动态图注意网络提取所有智能体的交互特征；

9、s5：通过卷积神经网络和门机制选择器提取并更新运动数据集中与智能体相关的地图信息的地图特征；

10、s6：将步骤s2得到的动态特征、步骤s4得到的交互特征以及步骤s5得到的地图特征融合为三通道特征后，根据智能体的类型，通过对应特定智能体类型的未来解码器预测目标智能体未来轨迹。

11、优选地，所述步骤s3有向边特征异质图的构建方法为：

12、s3.1：将运动数据集中每帧记录的有关于各种类型智能体的位置和转向角信息输入到旋转矩阵r＝[[cos(θt)-sin(θt)],[sin(θt)cos(θt)]]中，获取智能体间的空间关系，根据智能体间的空间关系构建图结构数据，将步骤s2获得的动态特征填充到图结构中，构建有向边特征异质图的节点特征；

13、s3.2：有向边特征异质图表示为g＝(v,e)，节点集v中的每个节点代表一个特定类型的交通参与者，边集e中的每条有向边都包含特定边类型的边属性，边属性是节点j与节点i的相对测量值，边类型是节点j和节点i的类型的串联，利用边属性和边类型构建边的特征；

14、s3.3：将不同类型的节点利用节点类型变换矩阵mtypei从不同的向量空间转换到相同的向量空间，公式为式中，是第i个节点的节点向量特征；

15、s3.4：如果智能体j位于智能体i的预定区域内，则构建一条从智能体j指向智能体i的边eij，边集合为：引入边属性变换和边类型变换来分别考虑边特征和边类型，公式为：eattr′＝mφ·eattr，etype′＝mχ·etype，式中，i和j是智能体的索引，ni是节点i的邻域，mφ为边属性变化矩阵，mχ是边类型变换矩阵，eattr是边属性，etype是边类型，eattr′为有向边特征异质图的边特征，etype′为有向边特征异质图的边类型。

16、优选地，所述步骤s4通过异质动态图注意网络提取所有智能体的交互特征包括以下步骤：

17、s4.1：重新筛选出每个时间点形成的交互智能体，生成新的子图结构；

18、在步骤s3构建的有向边特征异质图中使用自注意机制来捕捉空间交互，根据设置好的距离阈值确定目标智能体i的交互对象智能体j，并确定相应的矩阵d，公式为：d[i,j]＝1，式中，为智能体j的位置信息，为智能体i的位置信息，d为设置好的距离阈值半径，在交互区域内，重新筛选出的每个时间点形成的交互智能体，将重新筛选出的每个时间点形成的交互智能体数量送入异质动态图注意网络，生成新的子图结构；

19、s4.2：计算新的子图结构的包含交互强度和交互类别的边特征；

20、根据步骤s4.1重新筛选出的每个时间点形成的交互智能体，在图表示消息传递过程中合并三元素关系交互嵌入方法：交互强度、交互类别和类别函数，将由步骤3.4得到的边特征输入到一个全连接层和softmax类别函数后，得到交互强度和交互类别，将交互强度和交互类别嵌入到边特征中，公式为：式中，rij是交互强度，cij∈[0,1]l是类别向量，fl是由mlp实现的可学习类别函数，hj是第j个节点的节点向量特征，是包含交互强度和交互类别的边特征；

21、s4.3：利用包含交互强度和交互类别的边特征来计算注意力系数αij，利用注意力系数αij对节点i的邻域进行线性组合，更新节点i的特征，得到考虑周围智能体对智能体不同影响性后的交互特征。

22、优选地，所述注意力系数式中，ni是节点i在图中的邻域，是注意力权重向量，是节点向量特征，为节点i与其附近邻域ni中的节点k所产生的边特征；交互特征式中，σ为sigmoid激活函数，wh是需要学习的权重线性变换矩阵，为第j个节点的向量特征。

23、优选地，所述步骤s5通过卷积神经网络和门机制选择器提取并更新运动数据集中与智能体相关的地图信息的地图特征包括以下步骤：

24、s5.1：通过卷积神经网络cnn提取栅格化的初始地图特征式中，m为地图信息，wm为有关于地图信息的权重；

25、s5.2：利用设计的门机制选择器，根据智能体i在地图中的当前状态为智能体i选择更新后的地图特征。

26、优选地，所述门机制选择器所述选择更新后的地图特征式中，为智能体i的当前状态，wc为权重矩阵，bc为偏置，是一个向量。

27、优选地，所述步骤s1对运动数据集中的轨迹序列数据进行预处理为剔除运动数据集中的异常数据；获取轨迹序列特征的方法为：选取运动数据集中智能体的横向和纵向的坐标、速度、加速度以及转向角信息作为智能体的轨迹序列特征，选取智能体周围的智能体的横向和纵向相对位移作为周围智能体的轨迹序列特征。

28、优选地，所述步骤s2通过对应特定类型的编码器将步骤s1中的轨迹序列特征转换为动态特征方法为：将智能体的轨迹序列特征输入到对应特定类型的循环神经网络编码器中以提取其动态特征，公式为式中，是智能体i在时间t的动态特征，是智能体i在时间t的轨迹序列特征。

29、优选地，所述步骤s6通过对应特定智能体类型的未来解码器预测智能体未来轨迹的方法为：式中，是对应特定类型智能体的未来解码器，是动态特征、交互特征以及地图特征的串联，是智能体i的未来轨迹。

30、优选地，所述步骤s7的具体步骤为：

31、s7.1：使用训练集对模型进行训练，使用平均位移误差ade、最终位移误差fde和均方根误差rmse作为损失函数，通过梯度下降求解损失函数，根据梯度更新模型参数；

32、s7.2：利用adam优化器优化异质动态图注意网络并得到预测模型，直到损失函数不再下降时终止训练，保存训练完成的预测模型，否则返回步骤s7.1继续更新和训练，使用测试集中的轨迹序列数据对预测模型进行测试，得到智能体未来的轨迹坐标。

33、与现有技术相比，本发明的有益效果：

34、1、本发明利用智能体的动态、交互以及地图的多通道融合特征，充分考虑了实际驾驶场景情况，引入了基于含有边特征的异质图注意网络来捕捉交通参与者的异质性，并利用门机制有选择地为不同类型以及速度的智能体共享地图，实现了地图选择的自适应性。

35、2、本发明通过引入基于图注意网络(gat)改进的异质动态图注意网络(hdeat)模型，该模型通过为邻居不断变化的智能体重建适当的子图来捕捉空间动态交互，提高了轨迹预测的准确性、安全性以及可解释性。还引入了一种三元素关系表示法：交互强度、交互类别和交互函数，可以反映交互的强度和类别，为多个异质交互智能体进行明确的关系识别和预测，从而获得动态关系推理。

36、3、本发明在平均位移误差、最终位移误差以及均方根误差的评价指标方面相比于一般基于图神经网络的轨迹预测方法具有更好的性能表现，在轨迹预测的准确性和安全性方面具有卓越的性能。