基于考虑人类流动性的图时空Transformer模型的交通流预测方法与流程

基于考虑人类流动性的图时空transformer模型的交通流预测方法
技术领域
1.本发明涉及人工智能、数据挖掘领域，尤其是一种在城市中进行准确的交通流预测、指导智能交通系统建设的方法。


背景技术：

2.随着经济和信息技术的快速发展，人们不断提高的现代化生活和不断增加的汽车保有量，带来了交通拥堵、环境污染和资源分配等问题，智能交通系统的建设迫在眉睫，以前因为道路信息感知不全面，导致解决这些问题有些困难。如今，由于各种传感器技术和云计算服务的成熟，我们可以精确感知路面车辆的运行状态，进而估计出道路的平均速度。这些精准的城市大数据为解决这些问题提供了新的可能和思路。利用城市大数据和先进的人工智能技术对路面的交通信息进行准确的预测，进而为城市管理者和规划者提供有价值的信息参考，提升交通管控能力、服务效率，优化城市居民的出行体验，可以更好地处理城市发展中遇到的问题和挑战。同时，分布式平台和云计算的建设和发展也在技术上使我们具备了处理这些大规模城市数据的能力。
3.数据挖掘是结合人工智能、机器学习、模式识别、统计学、数据库等多种技术，从大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程。现在存在着大量数据，可以广泛使用，迫切需要将这些数据转换为有用的信息和知识用以指导城市规划、市场分析和科学探索等各个领域。
4.一个及时准确的交通流量预测，可以更好地建设智能交通系统，为城市居民提供准确的交通信息，带来卓越的出行体验。然而，由于人类的流动性，人们在不同的日子有不同的行为模式。人们在工作日更有可能从住宅区开车到工作区，周末则更喜欢从居民区去休闲区，如公园、名胜古迹或商场，这就导致了人们会选择不同的道路到达目的地。因此，交通流在空间方面表现出强烈的跨路网络特征。另一方面，交通信息的产生不仅与前一时刻有关，也与历史上的一段时期有关，但是，按时间顺序输入的数据并不能直接代表不同时间尺度下的内在关系，换句话说，不同时间的交通流量对未来的交通流量有不同的影响，因此，交通流在时间方面表现出强烈的随机扰动特性。这些城市交通信息数据从侧面反映了城市居民的不同行为，我们可以运用数据挖掘的方法，对隐藏在交通数据中的人们流动性进行表征，进而对动态的时空交通数据进行准确的建模，这将为智能交通系统的建设带来新的机遇。


技术实现要素：

5.本发明要克服现有技术的上述缺点，提供基于考虑人类流动性的图时空transformer模型的交通流预测方法。
6.本发明正是运用人工智能的方法对城市中交通信息数据进行建模。并对城市交通流进行预测，可以掌握城市道路未来一段时间的变化，了解城市的运行状态，进而提升交通
管控效率，对建设智能交通系统具有重要的实际意义。
7.本发明是通过以下技术方案达到上述目的：基于考虑人类流动性的图时空transformer模型的交通流预测方法，其特征在于包括如下步骤：
8.(1)将道路传感器节点视为图节点，传感器上的交通信息视为节点属性，对交通信息进行图结构数据表示，并进行问题定义；
9.(2)将隐藏在交通信息中的多种行为模式进行建模，应用多视图的图卷积神经网络(gcn)模型挖掘交通数据在空间上的跨路网特征；
10.(3)联合步骤(2)所得的特征，利用transformer神经网络对交通信息进行时间特征表示，捕捉交通数据在时间上的随机扰动性，从而确定用于交通流预测的图时空transformer模型；
11.(4)联合步骤(3)所得的时空特征，在两个不同地区的真实交通数据集进行实验验证，最终确定图时空transformer模型的有效性；
12.(5)采用步骤(4)确定的图时空transformer模型模型，用于交通流量预测。
13.进一步，所述步骤(1)具体包括如下步骤：
14.1a).将原始交通数据进行归一化处理，将路网进行图表示g＝(v,e,w),v表示所有道路集合，e表示边集合，w是权重邻接矩阵，表示节点之间的连接；
15.1b).将不同道路的交通数据按五分钟为单元进行统计，表示为节点的特征矩阵h表示历史时间长度，n表示节点个数；
16.1c).给定道路网路网g，特征矩阵旨在找到一个能够从历史交通信息学习时空特征的映射函数使之能够预测接下来的交通信息。
17.进一步，所述步骤(2)具体包括如下步骤：
18.2a).按照步骤(1)统计所得到的交通数据，进行行为模式划分，人们在工作日和休息日具有不同的活动轨迹，因此根据工作日和休息日将数据分为两类，对隐藏在交通信息中行为模式进行表征；
19.2b).联合步骤(2a)划分后的数据，采用皮尔逊相关系数计算交通信息相似性，对于任意两个道路的交通信息向量u、v，计算公式如下：
[0020][0021]
其中其中表示特征向量的平均值。最终得到表征任意两个道路交通信息相似性的矩阵a，两个道路交通信息越相似，人们的行为模式越一致；
[0022]
2c).按照路网本身具有的物理特性，对于任意两个道路节点vi,vj，进行权重表示如下：
[0023][0024]
其中θ表示数据的标准差，dist(vi,vj)2表示任意两个节点之间的距离。最终得到
表征路网物理特征的矩阵d；
[0025]
2d).联合步骤(2b)和(2c)得到的多个特征矩阵，对不同的行为模式利用gcn模型进行特征表示，图结构数据上的快速卷积公式如下：
[0026][0027]
其中in表示单位矩阵，d是度矩阵d＝∑
jaij
，λ
max
是l
sys
矩阵的最大特征值，tk(
·
)表示k阶切比雪夫多项式。θ表示切比雪夫系数的向量。同时利用神经网络进行参数向量进行优化，本发明采用layer-wise图卷积神经网络进行特征提取。公式如下：
[0028]hl 1
＝σ(g
θhlwl
b
l
)
ꢀꢀ
(4)
[0029]
其中h
l
表示带有残差结构的神经网络输出，g
θ
的常数项可以计算得到，待优化的参数项由神经网络参数进行优化，最终可以得到交通信息数据的空间特征嵌入向量表示。
[0030]
进一步，所述步骤(3)具体包括如下步骤：
[0031]
3a).结合步骤(2)中所得到的空间特征表示，采用线性投影构建注意力的查询向量q、键向量k和值向量v；
[0032]
q＝zwq,k＝zwk,v＝zwvꢀꢀ
(5)
[0033]
3b).采用缩放点积函数作为注意力机制分数的计算，并且将查询向量q、键向量k和值向量v与不同的线性投影结合，构建多个注意力函数，形成多头注意力机制。
[0034]
multihead＝concat(head1,
…
,headn)woꢀꢀ
(6)
[0035]
其中注意力机制分数计算的缩放点积函数可以表示为
[0036]
3c).结合步骤(3b)得到的多头注意力表示，构建两层的前馈神经网络，并加入残差连接，缓解深度网络下梯度消失的问题。
[0037]
ffn＝wσ(wx b) b
ꢀꢀ
(7)
[0038]
其中σ表示激活函数，w和b表示可学习的网络参数；
[0039]
3d).结合步骤(3b)和步骤(3c)构建encoder和decoder模块，将多个encoder和decoder模块进行叠加，构建transformer神经网络，并用于提取交通数据的时间特征；
[0040]
3e).结合步骤(2)和步骤(3d)，将时空特征联合起来，构建出用于交通流预测的图时空transformer模型。
[0041]
进一步，所述步骤(4)具体包括如下步骤：
[0042]
4a).结合步骤(2)中所提取的交通数据空间特征和步骤(3)所提取的交通数据时间特征，构建损失函数，进行图时空transformer模型的训练和参数的优化。
[0043][0044]
其中n表示采样个数，yi和表示真实交通信息值和预测交通信息值；
[0045]
4b).交通预测问题是一个经典的回归问题。因此，为了评估模型的预测性能，选择平均绝对误差(mae)、平均绝对百分比误差(mape)和均方根误差(rmse)作为指标。对于mae、rmse和mape指标，值越小表示预测性能越好；
[0046][0047][0048][0049]
4c).将两个不同地区的真实交通数据集输入模型，并采用批处理的方式进行训练，观察模型的表现性能。最终，可以得到具有表征交通数据空间特征和时间趋势的图时空transformer模型，并应用于交通流预测；
[0050]
本发明的创新之处在于：
[0051]
(1)提出了一种在考虑人类移动性的交通预测框架，能够发现交通数据在空间方面的跨路网络特征和时间方面的随机扰动特征。
[0052]
(2)构建了多视图下不同的邻接矩阵来揭示交通数据看不见的图结构，并应用transformer网络来模拟时间趋势。
[0053]
(3)在美国两个真实的交通数据集进行实验验证。
[0054]
本发明的优点是：
[0055]
(1)对隐藏在交通数据中的不同行为模式进行显示建模，将逻辑上相互关联的节点进行直接连接。
[0056]
(2)不严格依赖于按时间顺序输入的数据，通过多头注意力对不同时间的交通流量赋予不同的权重，更好地表征交通数据的时间动态性。
附图说明
[0057]
图1是本发明的整体流程图。
[0058]
图2是本发明所使用的多视图图卷积神经网络模型流程图。
[0059]
图3是本发明所使用的transformer神经网络模型流程图。
[0060]
图4(a)～图4(d)是本发明在metr-la数据集实例中不同过滤器尺寸的结果图，其中图4(a)是图时空transformer模型在不同过滤器尺寸下训练集损失函数的变化，图4(b)是图时空transformer模型在不同过滤器尺寸下验证集损失函数的变化，图4(c)是图时空transformer模型在不同过滤器尺寸下模型评价指标rmse的变化，图4(d)是图时空transformer模型在不同过滤器尺寸下测试集损失函数的变化。
[0061]
图5(a)～图5(d)是本发明在metr-la数据集实例中不同行为模式的结果图,其中，图5(a)是图时空transformer模型在不同行为模式下训练集损失函数的变化，图5(b)是图时空transformer模型在不同行为模式下验证集损失函数的变化，图5(c)是图时空transformer模型在不同行为模式下测试集损失函数的变化，图5(d)是图时空transformer模型在不同行为模式下模型评价指标rmse的变化。
[0062]
图6(a)～图6(d)是本发明在metr-la数据集实例中不同训练周期的结果图,其中，图6(a)是图时空transformer模型在训练1个周期时，metr-la数据集中真实值与预测值变化的结果图，图6(b)是图时空transformer模型在训练15个周期时，metr-la数据集中真实值与预测值变化的结果图，图6(c)是图时空transformer模型在训练30个周期时，metr-la数据集中真实值与预测值变化的结果图，图6(d)是图时空transformer模型在训练50个周期时，metr-la数据集中真实值与预测值变化的结果图。
[0063]
图7(a)～图7(d)是本发明在pems-bay数据集实例中不同过滤器尺寸的结果图,其中，图7(a)是图时空transformer模型在不同过滤器尺寸下训练集损失函数的变化，图7(b)是图时空transformer模型在不同过滤器尺寸下验证集损失函数的变化，图7(c)是图时空transformer模型在不同过滤器尺寸下测试集损失函数的变化，图7(d)是图时空transformer模型在不同过滤器尺寸下模型评价指标rmse的变化。
[0064]
图8(a)～图8(d)是本发明在pems-bay数据集实例中不同行为模式的结果图,其中，图8(a)是图时空transformer模型在不同行为模式下训练集损失函数的变化，图8(b)是图时空transformer模型在不同行为模式下验证集损失函数的变化，图8(c)是图时空transformer模型在不同行为模式下测试集损失函数的变化，图8(d)是图时空transformer模型在不同行为模式下模型评价指标rmse的变化。
[0065]
图9(a)～图9(d)是本发明在pems-bay数据集实例中不同训练周期的结果图,其中，图9(a)是图时空transformer模型在训练1个周期时，pems-bay数据集中真实值与预测值变化的结果图，图9(b)是图时空transformer模型在训练15个周期时，pems-bay数据集中真实值与预测值变化的结果图，图9(c)是图时空transformer模型在训练30个周期时，pems-bay数据集中真实值与预测值变化的结果图，图9(d)是图时空transformer模型在训练50个周期时，pems-bay数据集中真实值与预测值变化的结果图。
具体实施方式
[0066]
下面结合美国洛杉矶和加州的交通流预测实例对本发明进行进一步描述。
[0067]
本实例中的交通流预测方法整体框架如图1所示，具体包括以下步骤：
[0068]
(1)本发明所用到的数据集统计如下：
[0069]
metr-la该交通数据集包含美国洛杉矶高速公路上207个道路传感器的交通速度。此外，部署在道路上的所有传感器的读数都汇总到5分钟的窗口中。我们使用2012年4月2日至2012年5月31日的数据，每个传感器的5分钟时间片总数为17,280。
[0070]
pems-bay该交通数据集来自加利福尼亚交通部(caltrans)性能测量系统(pems)。它包含湾区325个道路传感器的交通速度。此外，部署在道路上的所有传感器的读数也汇总到5分钟的窗口中。我们使用了2017年3月6日至2017年4月30日的数据，每个传感器的5分钟时间片总数为16,128。
[0071]
(2)以交通速度为例，将两个地区的数据按照时间分为工作日和休息日两类，构建多视图图结构邻接矩阵，具体包括如下步骤：
[0072]
a).物理路网距离矩阵：
[0073]
对于任意两个道路vi,vj，它们之间具有一定的距离，对距离进行编码，表征真实路网之间的几何关联关系。使用阈值高斯核函数进行计算，计算公式如下:
[0074][0075]
两个路段物理距离越近，高斯核函数的值越大，最终得到表征任意两个路段路网距离矩阵d，阈值设置为0.1，其大小为n
×
n的矩阵。
[0076]
b).工作日与休息日相似性矩阵：
[0077]
交通信息是人类活动的结果，人们在不同的日子里采取不同的活动方式。因此，我们根据工作日和周末将数据分为两类。然后，我们利用阈值pearson相关性来分析道路传感器之间的相关性，对于任意两个道路的交通信息向量u、v，计算公式如下：。
[0078][0079]
两个路段交通信息越相似，pearson相关系数的值越大，人们在路段上的行为模式越相似，最终得到表征任意两个路段工作日与休息日相似性矩阵a，阈值设置为0.6，其大小为n
×
n的矩阵。
[0080]
(3)在构建多视图邻接矩阵以后，需要采用gcn模型通过边特性对节点特征进行聚合，并生成新的节点表示，所采用的gcn模型，公式如下:
[0081]hl 1
＝σ(g
θhlwl
b
l
)
ꢀꢀ
(4)
[0082]
其中h
l
表示带有残差结构的神经网络输出，g
θ
的常数项可以计算得到，待优化的参数项由神经网络参数进行优化，最终可以得到交通信息数据的空间特征嵌入向量表示。
[0083]
将不同视图下经过gcn模型生成的新的节点进行融合，节点之间的连接关系通过神经网络进行动态调整，以此生成具有更多有益连接的邻接矩阵，对于表征交通数据的跨路网空间特征具有重要意义。
[0084]
(4)在gcn提取特征之后，采用transformer网络，具体包括如下步骤：
[0085]
a).采用线性投影构建注意力的查询向量q、键向量k和值向量v。
[0086]
q＝zwq,k＝zwk,v＝zwvꢀꢀ
(5)
[0087]
b).采用缩放点积函数作为注意力机制分数的计算，并且将查询向量q、键向量k和值向量v与不同的线性投影结合，构建多个注意力函数，形成多头注意力机制。
[0088]
multihead＝concat(head1,
…
,headn)woꢀꢀ
(6)
[0089]
其中注意力机制分数计算的缩放点积函数可以表示为
[0090]
c).构建两层的前馈神经网络，并加入残差连接，缓解深度网络下梯度消失的问题。
[0091]
ffn＝wσ(wx b) b
ꢀꢀ
(7)
[0092]
其中σ表示激活函数，w和b表示可学习的网络参数。
[0093]
d).结合步骤(b)和步骤(c)构建encoder和decoder模块，将多个encoder和
decoder模块进行叠加，构建transformer神经网络，并用于提取交通数据的时间特征,最终通过结合不同视图下的gcn模型，从而确定用于交通流预测的图时空transformer模型
[0094]
(5)在两个真实的交通数据集上进行图时空transformer模型性能评估：
[0095]
a).不同的过滤器大小，在实验中，我们发现transformer网络的滤波器尺寸非常重要。因此，为了获得每个数据集的最佳性能，我们从[128,256,512,1024,2048]中选择了transformer网络的滤波器大小的数量，并分析了预测精度的变化。metr-la和pems-bay数据集的训练损失、验证损失、测试损失和rmse分别如图4和图7所示。
[0096]
b).不同的行为模式，对人类移动引起的不同行为模式进行建模，并将其输入到多视图图卷积网络中，希望能够挖掘出跨路网络的空间特征。因此，为了更直观地说明多种行为模式的有效性和必要性，我们从方法中删除了工作日模式和周末模式模块。metr-la和pems-bay数据集的消融实验结果分别如图5和图8所示。
[0097]
c).不同的训练周期，为了更好地理解交通预测结果，我们将所提出方法的预测结果可视化。我们将不同训练时期的交通速度预测值与这两个数据集上的地面实况值进行比较，实验结果分别如图6和图9所示。