一种智能汽车多模态非自回归轨迹预测方法、装置及介质

本发明属于自动驾驶领域，特别涉及一种智能汽车多模态非自回归轨迹预测方法、装置及介质。

背景技术：

1、随着智能汽车技术的不断发展，智能汽车实现高水平自动驾驶并量产落地的愿景愈发受到学术界和工业界的广泛关注，智能汽车的安全性高低则关系到量产落地的可能性大小。为了进一步提高智能汽车出行的安全性，关键在于如何使其能够像人类驾驶员一样根据周围行驶环境预测其他车辆在未来一段时间内的状态，帮助其做出更加安全、合理的决策与规划。

2、然而，在真实的交通场景中预测车辆的未来轨迹是充满挑战的。主要存在如下三方面挑战：①动态交互挑战。车辆之间的动态交互会对车辆行驶轨迹产生影响，且当车辆周围的交通参与者数量和种类动态变化时，能否对此时的交互模式进行精准建模直接影响到轨迹预测的准确度；②不确定性挑战。车辆的行驶轨迹天然存在多模态属性，目前车辆行驶主要由驾驶员操控，受诸多因素影响，如驾驶风格、驾驶状态、驾驶意图、道路条件等，同一条历史轨迹可能存在多条合理的未来轨迹；③精度与速度权衡挑战。智能汽车对轨迹预测模型的需求是在有限的车载芯片计算算力下兼顾预测精度和预测速度，因此模型的设计需要合理权衡两者。

3、现常用的车辆轨迹预测方法主要是数据驱动类方法，其中又以基于循环神经网络（recurrent neural network，rnn）及其变体长短期记忆网络（long short term memorynetwork，lstm）、门控循环单元（gate recurrent unit，gru），以及基于transformer两大类为主，得益于这两大类方法在自然语言处理领域所取得的巨大成功，学者将sequence tosequence的编码器-解码器架构迁移至轨迹预测领域，并在编码器中利用网络对序列信息的强大特征提取能力，对轨迹数据中的时空交互进行建模，将所得中间表示输入解码器中解码生成未来轨迹。尽管取得了不错的预测效果，但是这两类方法仍然存在预测累积误差大（对应模型预测精度）、预测实时性不高（对应模型推理速度）的问题。

4、刘淼淼等在中国发明公开专利cn117930847a中公开的“一种基于改进transformer模型的车辆轨迹预测算法”，为提高模型预测精度，其在transformer模型编码器部分加入了考虑车辆时空交互的处理层，但其是以堆叠的方式处理时间-空间注意力，同时解码方式与传统transformer并无改变，均为自回归解码架构，预测速度较慢。

技术实现思路

1、为了解决现有轨迹预测存在的无法兼顾预测精度和推理速度问题，本发明提出一种智能汽车多模态非自回归轨迹预测方法、装置及介质，不仅能够提高对汽车轨迹的预测精度，还能够提高对汽车轨迹的预测速度，前者主要体现在采用了同时考虑的时间-空间注意力机制以挖掘车辆时空交互特征；后者主要体现在设计了一种非自回归的transformer解码架构，相较于传统transformer自回归解码架构，提升了预测速度。为弥补非自回归解码架构所导致的预测序列时序依赖性的损失，同时提出一种考虑时序依赖性的损失函数，通过显式建模方法对序列中的时序依赖性进行预测，有效提高了对汽车轨迹的预测精度。

2、为了实现本发明目的，本发明提供的一种考虑时序依赖性解码的智能汽车多模态非自回归轨迹预测方法，包括步骤：

3、获取车辆的行驶轨迹数据，基于行驶轨迹数据得到轨迹序列，将轨迹序列划分为观测序列和预测序列；

4、将车辆的行驶轨迹数据输入轨迹预测模型来得到轨迹预测结果，所述轨迹预测模型包括观测序列的嵌入编码模块、基于时空注意力的特征提取编码器、全连接层、预测序列的嵌入编码模块、解码器查询向量生成模块和解码器，观测序列的嵌入编码模块用于对观测序列进行向量嵌入得到观测序列的高维表示并对观测序列的高维表示进行位置编码以得到观测序列的位置编码结果，基于时空注意力的特征提取编码器包括联合考虑时空注意力权重计算模块，用于对交通场景中的车辆进行时空交互特征编码并输出时空注意力，全连接层用于将所述时空注意力映射到隐藏状态向量，预测序列的嵌入编码模块用于对预测序列进行向量嵌入得到预测序列的高维表示并对预测序列的高维表示进行位置编码来得到预测序列的位置编码结果，解码器查询向量生成模块用于考虑观测序列、预测序列以及时空交互三者的影响，以非自回归的解码方式生成与预测序列长度相同的解码器查询向量，解码器用于得到预测序列长度的未来轨迹；

5、其中，训练轨迹预测模型时所采用的损失函数包括时序依赖性损失，所述时序依赖性损失用于计算输出的未来轨迹与真实标签之间的粗粒度时序依赖性损失和细粒度时序依赖性损失。

6、进一步地，所述获取车辆的行驶轨迹数据的方式包括：使用已经公开的车辆轨迹开源数据集或确定一辆目标车辆，通过车载传感器采集所述目标车辆及其周围车辆的行驶轨迹数据。

7、其中，通过车载传感器获得汽车的行驶轨迹数据，根据目标检测和目标跟踪等环境感知模块，获取包括历史轨迹坐标、速度、加速度、所处车道编号、车辆编号、车辆类型信息。一般地，感知范围可选取为200m。

8、优选地，对行驶轨迹数据进行预处理并对获取的行驶轨迹数据剔除噪声与异常值。剔除噪声和异常值包括但不限于由于目标检测和目标跟踪模块产生的较大误差数据及野点等，最终使轨迹数据平滑。实现的方法可为一阶savitzky-golay滤波、小波分解、莱以达法则中的一种或多种。

9、进一步地，基于轨迹序列提取定长序列，所述定长序列切分为观测序列和预测序列；且对于每段定长序列，以预测对象即目标车辆为原点构建坐标系，以目标车辆在观测序列末时刻的朝向为纵轴正方向，逆时针旋转90°为横轴正方向，将数据通过坐标转换统一至所述坐标系下进行表示。

10、进一步地，在进行坐标转换前，先对轨迹序列数据中的变量进行关于轨迹预测任务的相关性分析，列出最优变量的可能组合，筛选得到最优的变量组合，对由最优的变量组合组成的轨迹序列数据进行定长序列提取和坐标变换。

11、其中，对于车辆轨迹预测任务，不同的数据集所能提供的数据变量不同，但均包括最基本的车辆轨迹横纵坐标，除此之外还有横纵向速度、横纵向加速度、车辆类型、道路信息、地图信息等，为了能够达到提供给模型的特征足够丰富但又不至于冗余的平衡，对轨迹序列数据的变量进行相关性分析后优选。对轨迹序列所含变量进行相关性分析的方法可采用主成分分析、递归特征消除、warpper methods的任一种方法，并在包含这些优选的变量的数据子集上训练模型并评估性能，以找到最佳的变量组合。通过拉丁超立方试验优化设计方法对数据集所能提供的不同的变量之间的组合进行寻优，训练模型后通过评价指标来判断变量组合的优劣。

12、通过分析变量敏感性并执行优选序列数据变量，有利于在提升模型的预测精度和预测速度之间达到一个平衡。

13、得到最佳的变量组合后，对由最佳变量组合组成的轨迹序列数据进行坐标转换以及划分数据集。

14、进一步地，为更高效地利用已有的轨迹序列数据，采用滑动窗口法处理轨迹序列，设置窗口长度为8s，并将采集的轨迹序列按时间戳切分为观测长度为为3s，预测长度为5s，并以预测长度内的轨迹作为预测任务的真实标签。最后将所有轨迹序列划分为训练、验证和测试集。

15、进一步地，对于每段定长序列，以预测对象即目标车辆为原点构建坐标系，以目标车辆在观测序列末时刻的朝向为x轴正方向，逆时针旋转90°为y轴正方向，将整段轨迹序列中的数据通过坐标转换统一至该坐标系下进行表示，具体转换过程公式如下：

16、；

17、为车辆与车辆之间的xy坐标差值；为车辆的xy坐标；为车辆的xy坐标；为车辆坐标系变换至车辆坐标系的旋转矩阵；为车辆与车辆之间的航向角差值；为车辆经过旋转矩阵变换后在车辆坐标系下的坐标表示。

18、进一步地，基于时空注意力的特征提取编码器用于对交通场景中的车辆进行时空交互特征编码，基于时空注意力的特征提取编码器的输入为：

19、观测序列按照如下公式进行向量嵌入，得到观测序列的高维表示，其中分别表示输入序列的长度、每一序列内含有的车辆数目、所设置的模型维度：

20、；

21、其中代表全连接层；

22、对观测序列的高维表示采用正余弦位置编码pe后得到位置编码结果：

23、；

24、其中，表示观测序列中的某一具体位置；表示具体的某一维度索引。

25、进一步地，基于时空注意力的特征提取编码器中，所述联合考虑时空注意力权重计算模块执行的计算过程如下：

26、计算时间注意力权重和输出时间值向量，所述时间注意力权重的公式为：

27、；

28、；

29、；

30、式中，为计算所得的时间注意力权重，是车辆n的时间查询向量，即将时间查询向量聚焦到具体的车辆n上，为转置操作，是车辆n的时间键向量，是车辆n的高维表示，是车辆n的位置编码结果，是车辆n的时间值向量；

31、计算空间注意力权重，计算公式为：

32、；

33、；

34、式中，为计算所得的每一时间步的空间注意力权重，是在时间步t的空间查询向量；是在时间步t的空间键向量，是所设置的模型维度；

35、构建时间影响权重矩阵，得到时空注意力权重，所述时空注意力权重的表达式为：

36、；

37、式中，为时空注意力权重，为时间影响权重矩阵，为时间注意力权重集合的最后一个维度，时间注意力权重集合，为观测序列中所有车辆的数目；

38、获取编码器输出：对于观测序列中的每个车辆，定义每个车辆最终的高维表示为，基于空间注意力权重集合和时间影响权重矩阵得到车辆最终的高维表示为，计算公式如下：

39、；

40、式中，，是车辆n的编码器输出的线性空间维度表示，为输入时空注意力权重计算模块的观测序列的长度，是车辆n的时空注意力，是车辆n的时间值向量。

41、进一步地，对于观测序列中的每个车辆，定义三个可学习的矩阵，分别是时间查询向量矩阵、时间键向量矩阵和时间值向量矩阵，对输入的观测序列的高维表示与位置编码结果相加后的结果分别与这三个矩阵相乘，对应得到时间查询向量、时间键向量和时间值向量，是在计算时间注意力时，把空间维度视为batchsize，batchsize是批次大小。对于观测序列中的每一时间步，定义两个可学习的矩阵，分别是空间查询向量矩阵和空间键向量矩阵，对输入的观测序列的高维表示分别与这两个矩阵相乘，对应得到空间查询向量、空间键向量。

42、进一步地，基于时空注意力的特征提取编码器中，在所述解码器查询向量生成模块的执行过程包括：

43、对于观测序列中的每个目标车辆，其隐藏状态，是隐藏状态的线性空间维度表示，隐藏状态的计算公式如下：

44、；

45、式中，是可学习的矩阵，是可学习的偏置参数，是矩阵的线性空间维度表示，是可学习的偏置参数的线性空间维度表示；

46、计算经过正余弦位置编码的预测序列的位置编码结果所生成的空间影响权重，计算公式为：

47、；

48、式中，，是空间影响权重的线性空间维度表示，是可学习的矩阵，是可学习的偏置参数，是每个车辆的经过正余弦位置编码的预测序列的位置编码结果；

49、将解码器查询向量定义为，表达式为：

50、；

51、式中，，是的线性空间维度表示，，是的线性空间维度表示，是每个车辆的观测序列的高维表示，是观测序列的长度，是预测序列的长度。

52、进一步地，解码器包括时空注意力权重计算模块和交叉注意力权重计算模块，时空注意力权重计算模块的计算过程与编码器的联合考虑时空注意力权重计算模块执行的计算过程基本一致，所不同的是解码器的时空注意力权重计算模块中的序列为预测序列；交叉注意力权重计算模块的输入包括两部分，分别是编码器的输出和解码器中的时空注意力权重计算模块的输出，对于编码器的输出，通过与两个可学习的参数矩阵进行矩阵乘，作为交叉注意力权重计算的键向量和值向量；对于解码器中时空注意力权重计算模块的输出，通过与一个可学习的参数矩阵进行矩阵乘，作为交叉注意力权重计算的查询向量，然后进行交叉注意力计算，得到的输出通过一个全连接层，映射为预测序列长度的未来轨迹。

53、进一步地，在轨迹预测模型的训练过程中所采用的损失函数为：

54、；

55、式中，是总损失，包括回归损失、分类损失和时序依赖性损失，是时序依赖性损失，为软目标交叉熵损失，为回归任务的损失；

56、其中，时序依赖性损失为：

57、；

58、；

59、；

60、式中，代表轨迹预测模型的预测损失，代表细粒度时序依赖性损失，为权重，用于体现粗粒度时序依赖性损失。

61、在输出的未来轨迹与真实标签之间计算时序依赖性损失。同时还区分粗粒度和细粒度的时序依赖性损失，粗、细粒度的时序依赖性损失共同组成最终的损失。其中粗粒度的时序依赖性损失定义为预测时域内每一时间步的预测值和真实值的非值，细粒度的时序依赖性损失定义为预测时域内每一时间步的预测值与真实值的一阶差分。

62、本发明还提供一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现前述方法的步骤。

63、本发明还提供一种计算机可读存储介质，其上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时实现前述方法的步骤。

64、与现有技术相比，本发明能够实现的有益效果包括：

65、一、模型预测精度

66、为提高轨迹预测模型的预测精度，主要从加强时空交互特征提取、避免累积误差和

67、考虑解码时序依赖性三方面进行改进。

68、（1）加强时空交互特征提取

69、在真实交通场景下，预测的目标车辆与周围其他交通参与者之间往往存在着复杂的时间-空间交互关系，以往的做法通常是使用注意力机制对该交互关系进行建模，而为了能够捕获更深层次的时空交互特征，常使用堆叠式或并行式的时空注意力，堆叠式交替处理时间和空间的相关性，并行式分别提取时间和空间的特征再聚合两者，它们都没有联合地考虑时空的相互依赖，而在对时空交互特征提取的过程中，时间与空间之间往往是双向、同时进行交互的，为此本发明提出一种联合考虑时空交互的注意力机制，该方法能够较好地对时空交互特征进行提取，增强模型对于车辆轨迹数据的理解，提高模型的预测精度。

70、（2）避免累积误差

71、在传统的transformer轨迹预测模型中，解码器是基于自回归式的解码方式，即在预测未来轨迹的过程中是递归地预测每一时间步的结果，预测当前时间步需要依赖前一时间步的预测结果，这样的解码结构不可避免的引入了累计误差，并随着预测时域的增长而增大，最终表现为模型的预测精度降低，为此本发明提出一种基于非自回归的解码方式，其实现主要依赖于构造的解码器查询向量生成模块，该模块旨在生成与预测序列长度一致的查询向量输入进解码器中，使得解码过程中摆脱了对先前时刻的预测结果依赖，能够直接生成未来轨迹，在结构上避免了累计误差的产生，有利于提高模型的预测精度。

72、（3）考虑解码时序依赖性

73、在使用基于非自回归式的解码方式后，由于在解码过程中是直接输出未来轨迹，损失了未来轨迹在时序上的依赖性，对于随时间变化的车辆轨迹序列数据而言，其所内含的运动特征是符合车辆运动学而无法发生突变的，也即是每个时间步上的观测值都会受到前一个时间步的观测值的影响，还可能表现出其它复杂的非线性时间依赖性，如趋势性，为此本发明提出一种嵌入到训练过程中的辅助任务，即在模型的训练过程中引入一种粗、细粒度的时序依赖性损失，用该损失度量预测结果之间的关系并建立起解码各时间步之间的依赖，有利于提高模型的预测精度。

74、二、模型预测速度

75、在传统的transformer轨迹预测模型中，受限于自回归式的解码结构，需要在预测序列长度内的每一时间步都进行预测，进而导致预测的耗时较长，为此本发明提出一种基于非自回归式的解码结构，其在解码过程中只需要一步即可预测未来轨迹。需要说明的是，该结构与上述的非自回归式解码结构一致，即该解码方式在起到避免累积误差的作用的同时还能提高模型预测速度。

76、综上所述，本发明提出一种基于非自回归与考虑时间依赖性解码的transformer智能汽车多模态轨迹预测方法，该方法能够为克服现有轨迹预测模型实时性不高、预测累计误差大等问题提供参考。