一种基于多广度Transformer的航迹预测方法与流程

本发明涉及深度学习和航迹预测领域，特别是涉及基于多广度transformer的航迹预测方法。

背景技术：

1、航空运输作为现代社会的重要组成部分，对全球经济和人民生活产生着深远的影响。随着航空产业的不断发展和全球航班的不断增加，航空交通管理面临着日益复杂的挑战。在航空领域中，航迹预测作为一项关键技术，扮演着至关重要的角色。它不仅影响着飞行器的路径规划和飞行效率，还直接关系到空中交通的安全性和顺畅性。目前，欧洲单一天空空中交通管理研究和新一代航空运输系统已经提出了基于轨迹的运行(trajectory-based operation，tbo)的概念，并将tbo提升到了一个新的高度。同时，中国新一代空中交通管理系统也提出“tbo用于管理空域和轨迹，每个时间段的决策与四维轨迹相关。”由此可见，对飞行轨迹的准确预测和演绎分析是未来空中交通安全运行的重要组成部分。

2、航迹预测是根据给定的历史航迹点的经度、纬度、高度、时间属性，推算出未来若干时间步的航迹点。目前航迹预测的方法主要包括传统航迹预测方法和深度学习航迹预测方法，而传统航迹预测方法又分为基于空气动力学和飞机性能模型的航迹预测方法和基于混合估计理论的航迹预测方法。基于空气动力学和飞机性能模型的航迹预测方法将飞行过程细分为多个阶段，并确定每个阶段的起始、结束条件以及运动方程，通过对飞行器动力学模型、飞行器意图和性能参数等数据进行统计分析，进而实现航迹预测。但是该类方法需要大量的先验知识。基于混合估计理论的航迹预测方法根据运动方程构建状态方程中的状态转移矩阵，不考虑飞行器的质量、体积和性能参数，侧重于研究未来时刻位置与历史时刻位置、速度、加速度及角度等关联关系。但是该类方法计算比较耗时，且准确性不高。

技术实现思路

1、本发明为克服现有技术存在的不足之处，提出一种基于多广度transformer的航迹预测方法，综合了不同时间段的历史航迹对预测的不同影响，充分学习到未来时间序列对不同历史时间序列的依赖关系，实现高精度的航迹预测。

2、本发明所采用的技术方案如下：

3、一种基于多广度transformer的航迹预测方法，包括以下步骤：

4、步骤1、将历史航迹表示为t＝{p1,p2,...,pk}，其中，pi表示航迹中第i个航迹点，k表示航迹点总数；每个航迹点包含多个属性，表示为pi＝{ai1,ai2,...,aim},i＝1,2,...,k，其中，aim表示航迹点pi的第m个属性，1≤m≤m，包括经度、纬度和高度；

5、步骤2、利用由一维卷积构成的嵌入层对历史航迹的每个航迹点做特征嵌入，得到历史航迹在高维空间的嵌入特征eiembed，将嵌入特征经三次变换并进行航迹注意力特征计算，得到注意力特征eattn；

6、步骤3、利用由一维卷积构成的嵌入层对待解码航迹的每个航迹点做特征嵌入，获取待解码航迹在高维空间的嵌入特征uiembed，并使用掩蔽多头自注意力模块将嵌入特征进行三次线性变换，然后进行注意力特征计算，得到注意力特征uattn；

7、步骤4、对历史航迹的注意力特征eattn和待解码航迹的注意力特征uattn进行不同广度的交叉注意力计算，并对计算结果进行拼接、展平、映射和求和处理，得到预测特征r；

8、步骤5、使用多层感知机(mlp预测器)，将预测特征r中对应掩码向量位置的特征点作为输入，得到最终的预测结果y＝{pk+1,pk+2,...,pk+step}，计算过程如公式(1)、(2)所示：

9、rpredict＝r[x+1:x+step]   (1)

10、y＝φ(rpredict,wpredict)   (2)

11、式中，表示对应掩码向量位置的特征点的预测特征，r[a:b]表示截取r中的第a个到第b个特征点，x表示第x个特征点，step表示时间步长，dattn表示注意力特征的维度，表示权值矩阵，m表示预测航迹点的m种属性。

12、进一步的，步骤2包括以下步骤：

13、步骤2.1、使用由一维卷积构成的嵌入层对历史航迹的每个航迹点pi做特征嵌入，获得历史航迹在高维空间的嵌入特征计算过程如公式(3)所示：

14、

15、式中，dembed表示嵌入的维度，i表示航迹中第i个航迹点，conv(·,·)代表卷积操作，κ(1×3)和κ(1×5)分别表示1×3和1×5的卷积核；

16、步骤2.2、将完整历史航迹的嵌入特征eembed经过三次线性变换得到注意力计算的query、key和value，计算过程如公式(4)、(5)和(6)所示：

17、

18、式中，和分别表示三次线性变换的权值矩阵，和分别表示注意力计算的query、key和value，即查询、键和值，dquery、dkey和dvalue分别表示查询、键和值的维度，φ()表示线性变换计算；

19、然后，利用得到的query、key和value进行航迹注意力特征计算，得到注意力特征eattn，计算过程如公式(7)：

20、

21、其中，为放缩因子，其中dattn表示注意力特征的维度，softmax()为归一化指数函数。

22、进一步的，步骤3包括以下步骤：

23、步骤3.1、使用由一维卷积构成的嵌入层对待解码航迹的每个航迹点vi做特征嵌入，获得待解码航迹在高维空间的嵌入特征计算过程如公式(8)所示：

24、

25、式中，dembed表示嵌入的维度，vi表示待解码航迹中第i个航迹点，conv(·,·)代表卷积操作，κ(1×3)和κ(1×5)分别表示1×3和1×5的卷积核；

26、步骤3.2、使用掩蔽自注意力模块将嵌入特征进行三次线性变化得到注意力计算的query、key和value，计算过程如公式(9)、(10)和(11)所示：

27、

28、式中，和分别表示三次线性变换的权值矩阵，和分别表示注意力计算的查询、键和值特征，dquery、dkey和dvalue分别表示查询、键和值的维度，φ()表示线性变换计算；

29、然后利用得到的query、key和value进行航迹注意力特征计算，得到注意力特征uattn，计算过程如公式(12)：

30、

31、式中，λ∈(x+step)×(x+step)表示上三角形状的掩码矩阵，作用是让任一航迹点只对比自身更早时刻的航迹计算注意力，而忽略未来时刻的航迹点，其中，x表示第x个特征点，step表示时间步长。

32、进一步的，步骤4包括以下步骤：

33、步骤4.1、设定广度个数n，将历史航迹的注意力特征eattn的最新时刻航迹特征进行n次不同长度的截取，得到n个不同广度的航迹特征，并经过线性变换作为多广度交叉注意力计算的value，计算过程如公式(13)和(14)所示：

34、

35、式中，split(·,·)表示广度截取操作，ln表示第n种广度，1≤n≤n，表示第n种广度的历史航迹特征，表示线性变换的权值矩阵，表示第n种广度的交叉注意力的value，dattn表示注意力特征的维度，dvalue表示参与注意力计算的值特征的维度，φ()表示线性变换计算；

36、步骤4.2、将历史航迹的注意力特征eattn经过线性变换作为多广度交叉注意力计算的key，将待解码航迹的注意力特征uattn经过线性变换作为多广度交叉注意力计算的query，由key和query计算得到交叉注意力分数ascore，计算过程如公式(15)、(16)和(17)所示：

37、akey＝φ(eattn,wkey)   (15)

38、aquery＝φ(uattn,wquery)   (16)

39、

40、式中，分别表示交叉注意力计算的key和query，表示线性变化的权值矩阵，ascore∈(x+step)×k，dquery、dkey和dvalue分别表示查询、键、值的维度，dattn表示注意力特征的维度；

41、然后，将注意力分数ascore进行n次不同广度的线性映射，得到n个不同广度的交叉注意力分数，过程如公式(18)所示：

42、

43、式中，表示第n种广度的注意力分数，ln表示第n种广度，表示第n种广度线性映射的权值矩阵；

44、然后，将n个不同广度的交叉注意力分数，与由n个不同广度的航迹特征线性变换得到的value相乘，得出n个交叉注意力特征h，计算过程如公式(19)所示：

45、

46、式中，表示第n种广度的交叉注意力特征；

47、步骤4.3、将n种不同广度的交叉注意力分数进行拼接和展平，并经过掩蔽前馈神经网络和softmax映射为长度为n和为1的向量β∈1×n，计算过程如公式(20)所示：

48、

49、其中，||表示拼接操作，flatten(·)表示展平操作，wflatten表示掩蔽前馈神经网络的权值矩阵；

50、然后，将β中的n个值作为n个不同广度的预测特征的权值，进行加权求和，得到预测特征计算过程如公式(21)所示：

51、

52、式中，βn表示β中第n个值，n表示广度个数。

53、本发明相比背景技术具有如下优点：

54、本发明综合了不同时间段的历史航迹对航迹预测的不同影响，充分学习和利用了未来时间序列对不同历史时间序列的依赖关系，实现了更高精度的航迹预测。