一种信号交叉口的行人和车辆未来轨迹预测方法及装置

本发明属于轨迹预测，尤其涉及一种信号交叉口的行人和车辆未来轨迹预测方法及装置。

背景技术：

1、随着城市交通场景复杂度和智能驾驶系统逐步走向应用，城市交通安全问题备受关注，对移动实体在一定时间内的位置变化进行预测，这种预测不仅对于理解动态环境中的行为模式至关重要，而且对于规划和决策过程也极其重要。

2、对信号交叉口的交通智能体轨迹预测方法的研究，处于交通智能化和智能交通系统发展的技术背景之下，以往的研究无法充分地捕捉交通参与者之间的时空交互关系，可能会导致生成一些不合理的预测轨迹。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种信号交叉口的行人和车辆未来轨迹预测方法及装置，解决现有技术预测轨迹效果欠佳的技术问题。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种信号交叉口的行人和车辆未来轨迹预测方法，包括：

4、获取信号交叉口智能体的历史轨迹数据和信号灯的历史状态信息；

5、将所述历史轨迹数据输入第一lstm网络获取所述历史轨迹数据对应的隐藏状态向量；

6、根据所述历史轨迹数据和所述历史状态信息获取所述智能体的观测序列；

7、将所述观测序列输入嵌入层和第二lstm网络获取所述智能体的时间上下文向量；

8、根据所述时间上下文向量进行时空交互信息融合得到时空交互注意力向量；

9、将所述历史轨迹数据对应的隐藏状态向量和时空交互注意力向量输入条件变分自编码器获取对应的高斯隐变量；

10、将所述所述历史轨迹数据的高斯隐变量和时空交互注意力向量输入gru网络获取未来轨迹预测。

11、可选的，所述历史轨迹数据对应的隐藏状态向量为：

12、；

13、式中，分别为智能体在时刻的历史轨迹数据对应的隐藏状态向量，为历史轨迹数据，为第一lstm网络的权重矩阵，为lstm网络。

14、可选的，所述智能体的观测序列为：

15、；

16、式中，为智能体在时刻的观测序列，为智能体在时刻的位置坐标，为智能体在时刻是否处于信号灯的影响范围内，为智能体在时刻的行为，为智能体在时刻对应的信号灯的指示状态和持续时间。

17、可选的，所述将所述观测序列输入嵌入层和第二lstm网络获取所述智能体的时间上下文向量包括：

18、将所述观测序列通过所述嵌入层转化成高维向量：

19、；

20、式中，为智能体在时刻的高维向量，为嵌入层，为嵌层的权重矩阵；

21、将所述高维向量输入第二lstm网络获取隐藏状态向量：

22、；

23、式中，分别为智能体在时刻的隐藏状态向量，为lstm网络，为第二lstm网络的权重矩阵；

24、根据所述隐藏状态向量生成时间上下文向量：

25、；

26、式中，为历史轨迹数据的时间步。

27、可选的，所述根据所述时间上下文向量进行时空交互信息融合得到时空交互注意力向量包括：

28、通过自注意力机制对所述时间上下文向量进行处理，获取注意力权重系数：

29、；

30、式中，为注意力权重矩阵，为归一化指数函数，为tanh激活函数，为智能体在时刻的注意力权重系数；

31、根据所述注意力权重系数和所述时间上下文向量计算时间注意力向量：

32、；

33、将智能体作为节点，将隐藏状态向量作为节点信息，智能体之间的空间交互作用作为边，通过图注意力层计算边信息：

34、；

35、式中，为智能体之间边在时刻的边信息，为单层前馈神经网络，为单层前馈神经网络的权重向量，为节点间的共享权重矩阵，为串联操作，为智能体在时刻的隐藏状态向量；

36、对所述边信息进行正则化处理：

37、；

38、式中，为以自然常数e为底的指数函数，为与智能体相邻的智能体集合；

39、根据正则化处理结果计算空间注意力向量：

40、；

41、式中，为sigmoid非线性激活函数；

42、将时间注意力向量和空间注意力向量融合，得到时空交互注意力向量：

43、；

44、式中，为智能体总数量。

45、可选的，所述将所述历史轨迹数据对应的隐藏状态向量和时空交互注意力向量输入条件变分自编码器获取对应的高斯隐变量包括：

46、将历史轨迹数据对应的隐藏状态向量和时空交互注意力向量输入识别网络中获取对应的均值和协方差：

47、；

48、式中，分别为时空交互注意力向量和历史轨迹数据对应的隐藏状态向量，为向量串联操作，为多层感知机形成的识别网络；

49、将历史轨迹数据对应的时空交互注意力向量输入识别网络中获取对应的均值和协方差：

50、；

51、式中，为多层感知机形成的先验网络；

52、根据和计算kl散度损失，并基于所述kl散度损失优化识别网络的参数和先验网络的参数；

53、根据优化后的识别网络和先验网络获取高斯隐变量：

54、；

55、式中，为辅助参数。

56、可选的，所述未来轨迹预测为：

57、；

58、式中，智能体在时刻的未来轨迹预测，为gru网络的全连接层的权重矩阵，为gru网络的全连接层的偏置值，为gru网络的正向解码器、反向解码器输出的智能体在时刻的隐状态；

59、；

60、；

61、；

62、式中，为智能体在时刻的隐状态；为正向解码器、反向解码器的权重矩阵；为中间变量；为智能体在时刻的高斯隐变量。

63、第二方面，本发明提供了一种信号交叉口的行人和车辆未来轨迹预测装置，包括：

64、数据获取模块，用于获取信号交叉口智能体的历史轨迹数据和信号灯的历史状态信息；

65、第一lstm网络模块，用于将所述历史轨迹数据输入第一lstm网络获取所述历史轨迹数据对应的隐藏状态向量；

66、观测序列模块，用于根据所述历史轨迹数据和所述历史状态信息获取所述智能体的观测序列；

67、第二lstm网络模块，用于将所述观测序列输入嵌入层和第二lstm网络获取所述智能体的时间上下文向量；

68、时空交互模块，用于根据所述时间上下文向量进行时空交互信息融合得到时空交互注意力向量；

69、高斯编码模块，用于将所述历史轨迹数据对应的隐藏状态向量和时空交互注意力向量输入条件变分自编码器获取所述历史轨迹数据的高斯隐变量；

70、轨迹预测模块，用于将所述所述历史轨迹数据的高斯隐变量和时空交互注意力向量输入gru网络获取未来轨迹预测。

71、第三方面，本发明提供了一种电子设备，包括处理器及存储介质；

72、所述存储介质用于存储指令；

73、所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。

74、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

75、与现有技术相比，本发明所达到的有益效果：

76、本发明提供的一种信号交叉口的行人和车辆未来轨迹预测方法及装置，首先，时间交互注意力作用于时间维度，分析不同时刻每个智能体的历史轨迹对它未来一个时间步长内运动的影响，并自适应地为这个智能体分配注意力权重，以获得该智能体的历史轨迹对其未来行为的重要程度；其次，空间交互注意力作用于空间维度，捕捉交通场景中除目标智能体外的其他智能体对目标智能体的交互作用，并自适应地为其他智能体分配注意力权重，以表示其他智能体对目标智能体运动产生影响的重要程度。然后，将行人和车辆智能体的时空交互信息进行融合，获得反应时空交互的时空注意力向量。最后，通过时空注意力向量，使用编码器和正、反向解码器生成目标智能体预测轨迹。本发明通过多方面因素考虑，提高轨迹预测的精度。