一种基于大语言模型引导的车辆轨迹预测方法及装置与流程

本发明涉及交通流预测，尤其涉及一种基于大语言模型引导的车辆轨迹预测方法及装置。

背景技术：

1、随着自动驾驶、机器人导航等领域的快速发展，准确预测车辆未来运动轨迹成为了一项至关重要的任务。在复杂的交通场景中，车辆的行为通常受到诸多因素的影响，如道路条件、其他动态目标物、交通规则和车辆本身的出行意图等。因此，对车辆未来动作进行精准预测不仅需要捕捉其过去的运动模式，还需要深度理解场景语义信息以及车辆背后的行为动机。

2、传统的基于规则和模型的方法如社会力模型、高斯过程回归等，依赖于手工设计的规则和约束,难以全面刻画车辆运动的复杂多样性。近年来，基于深度学习的数据驱动方法展现出了更有前景的效果。这些方法通常采用编码器-解码器架构，利用卷积神经网络和循环神经网络等模型从车辆历史轨迹和周围环境中提取视觉特征，并对未来轨迹进行预测。尽管取得了一定进展，但现有深度学习方法仍有一些固有局限性：一是缺乏对高层次语义信息的理解和利用。现有方法更多关注从低层次视觉数据中学习运动模式，但很难有效利用重要的语义信息,如道路环境、交通规则以及车辆出行意图等，这些对于准确预测至关重要。二是独立建模车辆轨迹,难以捕捉整体场景理解。大多数方法将每个车辆的轨迹预测视为一个独立任务，缺乏对整体交通场景的理解和建模，无法充分利用车辆与环境之间、车辆与车辆之间的复杂相互作用。三是缺乏明确机制来融合多模态信息。虽然一些方法尝试融合视觉和其他模态信息，但多模态融合方式较为简单，难以充分发挥各模态的优势。

3、为了克服上述不足,本发明提出了一种基于大语言模型引导的车辆轨迹预测方法及装置。

技术实现思路

1、本发明的目的是针对现有技术的缺陷，提供了一种基于大语言模型引导的车辆轨迹预测方法及装置，它将大型语言模型(llm)与基于深度学习的轨迹预测模型有机结合，统一框架内同时利用视觉和语义信息。具体来说，本发明利用llm对车辆历史轨迹和场景语境进行高层次的语义理解和推理，生成车辆意图表示和场景语义编码；然后将这些语义表示与低层次视觉特征相结合，输入到一个专门设计的深度轨迹预测网络中，综合多模态信息共同预测车辆未来的运动轨迹。

2、为了实现以上目的，本发明采用以下技术方案：

3、一种基于大语言模型引导的车辆轨迹预测方法，包括：

4、s1.获取与车辆相对应的历史轨迹数据；

5、s2.对获取的车辆历史轨迹进行增强处理，得到处理后的车辆历史轨迹；

6、s3.将处理后的车辆历史轨迹输入至大语言模型llm中，得到车辆历史轨迹相对应的嵌入向量；

7、s4.对得到的嵌入向量进行编码，得到编码后的车辆历史轨迹；

8、s5.将编码后的车辆历史轨迹输入到解码器中进行解码处理，得到未来车辆轨迹的预测结果。

9、进一步的，所述步骤s1中获取与车辆相对应的历史轨迹数据具体为：获取传感器采集的a个车辆中每个车辆历史时间段的轨迹点，表示为：

10、；

11、其中，、分别表示t时刻第i辆车的空间横坐标和纵坐标；xi表示第i个车辆的历史轨迹数据；a表示车辆的数量，i∈a；t表示某一时刻；d表示时间段。

12、进一步的，所述步骤s2具体包括：

13、s21.将获取的a个车辆的历史轨迹数据xi堆叠为矩阵；

14、s22.对矩阵进行张量分解处理，得到分解后的矩阵x，表示为：

15、；

16、其中，uob和vob表示正交矩阵；sob表示对角矩阵； t表示矩阵的转置；

17、s23.对分解后的矩阵x通过前k个奇异值进行rank-k逼近，得到车辆轨迹增强结果，表示为：

18、；

19、其中，表示车辆轨迹增强结果；k表示奇异值数量。

20、进一步的，所述步骤s3中嵌入向量包括车辆历史轨迹聚类嵌入zc、车辆历史动作意图嵌入zm、历史轨迹嵌入zp。

21、进一步的，所述车辆历史轨迹聚类嵌入zc具体为：

22、a1.对车辆历史轨迹进行预处理；

23、a2.将预处理后的车辆历史轨迹聚类成c个簇；

24、a3.将c个簇进行嵌入，得到车辆历史轨迹聚类嵌入zc，表示为：

25、；

26、其中，zc表示车辆历史轨迹聚类嵌入；c表示簇的数量；fc表示带有可训练参数wc的线性层；wc表示线性层fc的层权重系数。

27、进一步的，所述车辆历史动作意图嵌入zm，具体为：

28、b1.将第i个车辆的历史轨迹数据xi输入至大语言模型llm中，生成包含车辆历史运动意图的模式；

29、b2.将第i个车辆历史运动意图的模式通过分词器转换为输出嵌入向量；

30、b3.将输出嵌入向量进行嵌入，得到车辆历史动作意图嵌入zm，表示为：

31、；

32、其中，zm表示车辆历史动作意图嵌入；fm表示带有可训练参数wm的线性层；wm表示线性层fm的层权重系数；g表示嵌入向量。

33、进一步的，所述历史轨迹嵌入zp，表示为：

34、；

35、其中，zp表示历史轨迹嵌入；fp表示带有可训练参数wp的线性层；wp表示线性层fp的层权重系数；x表示分解后的矩阵。

36、进一步的，所述步骤s4中对得到的嵌入向量进行编码，表示为：

37、；

38、；

39、其中，ze表示编码后的车辆历史轨迹； encoderlayer表示编码层；zf表示运动嵌入；concat（）表示合并函数；pe表示历史轨迹位置编码的张量。

40、进一步的，所述步骤s5中得到未来车辆轨迹的预测结果，表示为：

41、；

42、其中，zn表示未来车辆轨迹的预测结果；表示与预测轨迹相关的概率； decoderlayer表示解码层；zne表示相邻车辆轨迹的嵌入。

43、相应的，还提供一种基于大语言模型引导的车辆轨迹预测装置，用于执行一种基于大语言模型引导的车辆轨迹预测方法，车辆轨迹预测装置包括处理器，所述处理器内设置有：

44、获取模块，用于获取与车辆相对应的历史轨迹数据；

45、处理模块，用于对获取的车辆历史轨迹进行增强处理，得到处理后的车辆历史轨迹；

46、嵌入模块，用于将处理后的车辆历史轨迹输入至大语言模型llm中，得到车辆历史轨迹相对应的嵌入向量；

47、编码模块，用于对得到的嵌入向量进行编码，得到编码后的车辆历史轨迹；

48、解码模块，用于将编码后的车辆历史轨迹输入到解码器中进行解码处理，得到未来车辆轨迹的预测结果。

49、与现有技术相比，本发明通过融合llm提供的高层语义理解和推理能力，本发明可以充分利用场景和车辆意图等重要线索，从而显著提高轨迹预测的准确性和稳健性，为实现安全高效的自动驾驶系统奠定基础。