一种基于Transformer自适应对抗图神经网络的交通流预测方法

本发明涉及深度学习领域，尤其涉及一种基于transformer自适应对抗图神经网络的交通流预测方法。

背景技术：

1、随着社会的发展以及城市规模的不断扩大，城市的交通拥堵日益增多，影响了人们日常的出行。智能交通系统(intelligent transportation system)可用于缓解交通拥堵，方便人们出行，提高交通的安全性。交通流预测作为its中重要的一部分，能够实时对城市的道路结点的车流量进行准确的预测，从而辅助车辆进行交通的决策并发现路段的交通问题，以此来减少道路拥堵的情况。

2、现有的大多数交通流预测的方法都是基于深度学习实现的，但仍存在一些问题。首先，没有提出对于交通流数据的时间模式进行明确的建模，导致在捕获时空相关性方面有所欠缺。其次，没有提出对于道路网络中关键结点的建模，这些结点往往是影响交通拥堵的重要因素。

3、此外，道路网络是不断变化的，捕获交通流的空间动态性仍是一个问题。最后，很难保证预测的数据与历史数据具有相同的分布。以上问题都限制了交通流预测方法的准确性。

技术实现思路

1、本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于transformer自适应对抗图神经网络的交通流预测方法，并在传统的结构上针对交通流数据进行改进，以此来提高交通流预测的准确性。

2、本发明解决其技术问题所采用的技术方案是：

3、本发明提供一种基于transformer自适应对抗图神经网络的交通流预测方法，该方法包括以下步骤：

4、步骤1：根据道路网络获取原始数据，将原始数据进行度嵌入和距离嵌入操作，得到预处理过的交通流数据；

5、步骤2：构建生成器，将交通流数据输入生成器的tdn模块进行注意力机制操作得到聚合时间信息y；

6、步骤3：构建sdgcn图神经网络，将y作为sdgcn图神经网络的输入得到聚合空间信息z，再将z输入进一个具有两个隐藏层的mlp得到预测数据

7、步骤4：获取真实数据xr，构建鉴别器，将预测数据与交通流数据x进行连接操作记为xp，并将xp和真实数据xr一同输入到鉴别器中；

8、步骤5：计算鉴别器和生成器的损失函数ld和lg，再计算整个模型的损失函数l，最后通过随机梯度下降来更新模型的参数，得到训练好的基于transformer自适应对抗图神经网络模型；通过训练好的模型实现对交通流的预测。

9、进一步地，本发明的步骤1的具体实现包括以下子步骤：

10、步骤1.1：对于道路网络中的每一个结点vi，根据道路网络的邻接矩阵a计算出每个结点对应的度deg(vi)，根据结点的度deg(vi)生成一个可学习的参数将其与原始数据xi相加，以此实现degree embedding，即度嵌入算法；

11、步骤1.2：计算结点vi和vj的距离记为f(vi,vj)，根据f(vi,vj)生成可学习的参数在计算vi和vj的注意力分数sij时，将作为偏移加入到注意力分数的计算中，即以此实现distance embedding，即距离嵌入算法。

12、进一步地，本发明的步骤2的具体实现过程包括：

13、将交通流数据x分别输入两个不同的一维卷积模块，再将其得到的结果用relu和sigmod函数进行处理，并将所得到的结果进行拼接作为多头自注意力机制的输入i，该操作的公式表示为：

14、

15、其中，表示为拼接操作，relu和σ为激活函数，θ1和θ2为两个不同的一维卷积操作，由此注意力机制操作表述为：

16、y＝attention(wqi,wki,wvi)

17、其中，attention()表示注意力机制操作，wq，wk，wv分别表示q，k，v对应的可学习的权重矩阵。

18、进一步地，本发明的步骤3的具体实现包括以下子步骤：

19、步骤3.1：根据tdn的输出y与自身转置相乘构造掩模矩阵c，以此表示交通道路网络的动态性，具体操作表示为：

20、

21、其中，softmax()表示为归一化函数，dmodel为模型的向量维度，n为道路网络中结点的个数；

22、步骤3.2：将所得到掩模矩阵c融入到图卷积运算当中，与带有自连接的邻接矩阵做哈达玛积操作，公式表示为：

23、

24、其中，σ为激活函数，表示带有自连接的度矩阵的逆矩阵，表示带有自连接的邻接矩阵，⊙为哈达玛积，w和b为可学习的参数；

25、步骤3.3：将步骤2和步骤3循环设定的层数l次，将最后所得到的sdgcn输出z通过带有两个隐藏层的mlp得到预测结果表示为：

26、

27、其中，w1，w2，b1，b2为可学习的参数。

28、进一步地，本发明的步骤4的具体实现过程为：

29、将预测数据与交通流数据x进行拼接操作，将所得结果记为xp，并将xp和真实数据xr一同输入到鉴别器中，即：

30、xr＝xt-t+1:t∥xt+1:t+h

31、其中，t表示交通流数据的时间步长，h表示预测的时间步长，∥表示拼接操作。

32、进一步地，本发明的步骤5的具体实现包括以下子步骤：

33、步骤5.1：根据鉴别器的输出d(xp)和d(xr)计算鉴别器的损失函数ld和生成器的损失函数lg，公式表示为：

34、

35、其中，和表示xr和xp分布的期望；

36、步骤5.2：将l1损失和生成器损失lg相加得到全局损失l，l＝l1+lg，其中l1表示为：

37、

38、步骤5.3：通过随机梯度下降，更新生成器和鉴别器的网络参数θg和θd，具体操作为：

39、

40、其中，ηg和ηd分别表示生成器和鉴别器的学习率；

41、设定训练的轮次epochs，即当训练轮次达到轮次epochs时，停止更新模型的参数；此外，还设置了早停轮次，当经过早停轮次训练时，模型的效果还没得到提升，就停止训练。

42、本发明提供一种基于transformer自适应对抗图神经网络的交通流预测系统，包括：

43、存储器，用于存储可执行计算机程序；

44、处理器，用于执行存储器中存储的可执行计算机程序时，实现上述的基于transformer自适应对抗图神经网络的交通流预测方法。

45、本发明提供一种计算机可读存储介质，存储有计算机程序，用于被处理器执行时，实现上述的基于transformer自适应对抗图神经网络的交通流预测方法。

46、本发明产生的有益效果是：

47、本发明的目的是设计一种基于transformer架构的对抗神经网络，并在传统的结构上针对交通流数据进行改进，以此来提高交通流预测的准确性。

48、(1)本发明设计了degree embedding和distance embedding，明确提出了对道路网络中关键结点进行建模，提高了模型的图表征能力。

49、(2)本发明将注意力机制和一维卷积神经网络结合，设计了一个时间依赖网络(tdn)，捕获了交通流的时间模式。

50、(3)本发明在图卷积神经网络的基础上，设计了一种掩模矩阵以此来捕获交通流数据的空间动态性。

51、(4)本发明设计了一种对抗训练的方式，提高了模型的预测准确性以及预测数据的全局一致性。