一种基于稀疏时空图Transformer网络的行人轨迹预测方法

本发明涉及计算机视觉，尤其涉及一种基于稀疏时空图transformer网络的行人轨迹预测方法。

背景技术：

1、随着技术的进步，无人驾驶汽车备受关注，但要保护行人安全，尤其是道路上的行人，无人车需要准确预测行人未来轨迹并调整车辆的运动策略，避免与行人发生碰撞。

2、受周围环境影响，行人的行为轨迹具有高度不确定性，通过建模复杂的社会交互，建立行人与周围行人和语义环境的时空关系，让无人车学习潜在的社会交互是准确预测行人轨迹的关键。

3、行人的移动不仅受到当前时刻的影响，还受到过去时刻的轨迹和行为的影响。因此通过对行人的时间依赖性进行建模，可以更准确地预测行人未来的移动轨迹，从而提高行人轨迹预测的准确性和可靠性。

4、现有的行人轨迹预测技术，多以传统模型为基准，不能同时兼顾行人的空间和时间的交互建模。

技术实现思路

1、本发明的目的在于提供一种基于稀疏时空图transformer网络的行人轨迹预测方法，可有效提高行人在拥挤环境下和长距离轨迹预测的准确性。

2、本发明的发明思想为：本发明提供一种基于稀疏时空图transformer网络的行人轨迹预测方法，首先基于transformer的网络框架，提出了一种空间transformer和时间transformer，同时对行人进行空间交互和时间依赖性建模；其次，提出了使用稀疏映射函数entmax15应用于transformer网络上，对行人的轨迹特征进行了稀疏映射；最后，设计了一种有效的时空块链的模型框架，对行人的轨迹特征进行了有效的处理，通过上述步骤方法，可有效提高行人在拥挤环境下和长距离轨迹预测的准确性。

3、为了实现上述发明目的，本发明采用技术方案具体为：一种基于稀疏时空图transformer网络的行人轨迹预测方法，方法的整体流程如附图1所示。下面结合具体实施例进一步阐述本发明的技术方案：

4、s1：从图像帧中获取行人的位置信息，对行人轨迹信息进行数据预处理，得到当前帧每个行人的轨迹坐标，通过遍历图像帧，获取行人所有帧对应的轨迹。

5、s2：使用动态空间transformer，利用自注意力机制对空间依赖关系进行动态建模，利用多头注意力机制对空间依赖的多种模型进行联合建模，方法的流程图和结构图如附图2，附图3所示。本步骤具体方法为：

6、s2.1：动态图卷积层。

7、空间嵌入特征通过学习一个线性映射，将每个节点的输入特征投影到一个高维潜在子空间中，在高维潜在子空间中通过训练和建模来捕获动态的空间依赖性。首先将稀疏空间transformer的输入特征xs经过空间嵌入后得到空间嵌入特征再将每个时间步的嵌入特征投影到高维潜在子空间中。投影映射是由多个全连接层组成的前馈神经网络实现的。对于每一种空间依赖模式，我们为每个节点在每个时间步的嵌入特征训练三个潜在子空间，包括查询子空间qs，键子空间ks和值子空间vs。

8、

9、其中，分别是qs，ks，vs的权重矩阵。

10、接着，利用qs和ks的点积计算节点间的动态空间依赖ss。

11、

12、使用稀疏注意力函数1.5-entmax归一化空间依赖。因此，用ss更新节点特征，得到节点的新特征为as，新特征节点经过前馈神经网络并在学习as的前提下进一步提高预测。

13、as(qs，ks，vs)＝ssvs

14、s2.2：提取行人之间的交互。

15、采用自注意力机制用于图上的消息传递，使用多头注意力函数multiheadattention计算节点之间的注意力权重，nhead设置为8头，通过学习多个线性映射，以在不同的潜在子空间中模拟受各种因素影响的动态空间依赖性。

16、s3：使用时间transformer，利用自注意力机制实现跨多个时间步的双向时间依赖性建模，方法的流程图和结构图如附图2，附图4所示。本步骤具体方法为：

17、s3.1：自注意力首先计算从时间t＝1到t的查询矩阵qt、键矩阵kt和对应的值矩阵vt。

18、

19、本发明中的查询、键和值函数为一个共享的线性变换函数。利用qt和kt的点积计算节点间的双向时间依赖性。使用稀疏注意力函数entmax15归一化时间依赖。因此，用st更新节点特征，得到节点的新特征为at。

20、

21、at(qt，kt，vt)＝stvt

22、s4：使用稀疏映射函数entmax15应用于空间和时间transformer，得到具有稀疏变换的时空transformer网络。

23、s4.1：采用泛化的注意力机制α-entmax转换，通过引入一个可调整的参数α，允许模型在softmax和稀疏max之间平滑过渡，设置参数α＝1.5来替换softmax函数。

24、s5：设计一种基于时空transformer的时空块链的模型框架，同时利用动态空间依赖性和长期的时间依赖性。模型框架如附图1所示。

25、s5.1：观测轨迹首先通过全连接层得到输入特征，接着进入到稀疏空间transformer和稀疏时间transformer，第l个时空块的输入是由第l-1个时空块在时间步长tobs-k+1的输出。稀疏空间transformer和稀疏时间transformer被堆叠来生成输出张量，同时利用残差连接，以实现稳定的训练。稀疏空间transformer从输入中提取空间特征。

26、

27、和进行融合得到作为后续稀疏时间transformer的输入，最终生成一个新的张量

28、

29、最终，我们获得输出张量并将该张量作为第l+1个时空块的输入。模型允许多个时空块可以堆叠，以提高模型的能力。

30、s6：最后利用全连接层对行人运动的状态信息生成行人未来的轨迹位置。

31、与现有技术相比，本发明的有益效果为：本发明提出的一种基于稀疏时空图transformer网络的行人轨迹预测方法，所提出的稀疏空间transformer，能有效的对空间依赖关系进行动态建模，降低交互冗余，实时捕捉行人状态信息；所提出的稀疏时间transformer能有效实现跨多个时间步长的双向时间依赖性建模，所提出的时空块链的模型框架同时利用动态空间依赖性和长期时间依赖性，有效提高拥挤环境和长距离轨迹预测的准确性，本发明能够有效提高在拥挤环境下和长距离时间步长下行人轨迹预测的准确性。

技术特征：

1.一种基于稀疏时空图transformer网络的行人轨迹预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于稀疏时空图transformer网络的行人轨迹预测方法，其特征在于，所述步骤s2中，具体包括以下步骤：

3.根据权利要求1所述的基于稀疏时空图transformer网络的行人轨迹预测方法，其特征在于，所述步骤s3具体为：

4.根据权利要求1所述的基于稀疏时空图transformer网络的行人轨迹预测方法，其特征在于，所述步骤s4具体为：采用泛化的注意力机制α-entmax转换，通过引入一个可调整的参数α，允许模型在softmax和稀疏max之间平滑过渡，设置参数α＝1.5来替换softmax函数。

5.根据权利要求1所述的基于稀疏时空图transformer网络的行人轨迹预测方法，其特征在于，所述步骤s5具体为：观测轨迹首先通过全连接层得到输入特征，接着进入到稀疏空间transformer和稀疏时间transformer，第l个时空块的输入是由第l-1个时空块在时间步长tobs-k+1的输出，稀疏空间transformer和稀疏时间transformer被堆叠来生成输出张量，同时利用残差连接，以实现稳定的训练，稀疏空间transformer从输入中提取空间特征；

技术总结本发明提供了一种基于稀疏时空图Transformer网络的行人轨迹预测方法，属于计算机视觉技术领域。解决了行人在拥挤环境下和长距离轨迹预测效率低的技术问题。其技术方案为：包括以下步骤：S1：从图像帧中获取行人的位置信息；S2：使用动态空间Transformer，利用多头注意力机制对空间依赖的多种模型进行联合建模；S3：利用自注意力机制实现跨多个时间步的双向时间依赖性建模；S4：得到具有稀疏变换的时空Transformer网络；S5：设计一种基于时空Transformer的时空块链的模型框架。本发明的有益效果为：本发明提高行人在拥挤环境下和长距离轨迹预测的准确性。技术研发人员：顾翔,高龙,陈峰,曹明明,王进,陈亮,万杰受保护的技术使用者：南通大学技术研发日：技术公布日：2024/9/12