基于融合Transformer的图卷积循环网络的交通流量预测方法及系统

本发明涉及交通预测，具体涉及一种基于融合transformer的图卷积循环网络的交通流量预测方法及系统。

背景技术：

1、交通系统是现代城市最重要的基础设施之一。随着城市化进程的发展，城市人口和道路网络中车辆数量的不断增加使交通系统变得更加复杂。因此，智能交通管理(its)的发展是一项迫切需要。实现智能交通管理系统的必要前提是基于交通流量预测的早期干预，这种早期干预对于提高交通系统效率、缓解交通状况相关问题以及智慧城市的发展都是至关重要的。然而，准确的交通流量预测已经变得越来越有挑战性。交通流量预测是时空数据挖掘中的一个基础研究问题。一方面，交通数据本质是一个时间序列，具有复杂的时间依赖性，数据在时间维度上具有周期性、波动性、不确定性和非线性。相同位置的交通数据在不同时间具有非线性变化，使得在长周期下，交通流量的预测变得困难。另一方面，交通数据也具有复杂的动态空间相关性，不同区域模式的交通流量也都是不固定的。

2、在交通流量预测中，由于交通流量数据的时空相关性，仅对时间或空间单独建模都是有局限性的，时间建模只考虑交通流量在时间维度上的变化规律，而忽略了空间位置对交通流量的影响。例如，在某些早高峰时段住宅区域路段上的交通流量可能会受到周围办公室聚集区域道路的影响，而这种影响是时间建模无法捕捉的；空间建模只考虑交通流量在空间维度上的变化规律，而忽略了时间对交通流量的影响，为了更准确地预测交通流量，需要同时考虑时间和空间的相关性，因此一些时空建模的研究通常将rnn(recurrentneural network)和gnn(graph neural network)相结合来捕获交通数据中的时空关系，但是没有足够关注全局信息，缺乏同时对短期和长期时间相关性的关注，并且基于实验和人工经验选择的最佳超参数组合可能会在一定程度上限制新的最优的网络架构的出现。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供了一种基于融合transformer的图卷积循环网络的交通流量预测方法及系统，以更有效的关注时间序列数据的长期相关性从而增强交通流量预测模型预测结果的准确性。

2、第一方面，本技术提供了基于融合transformer的图卷积循环网络的交通流量预测方法，具体包括：

3、构建交通流量预测模型，所述交通流量预测模型包括节点自适应参数学习(napl)模块、数据自适应图生成(dagg)模块、gru模块、transformer模块；napl模块和dagg模块的输出连接gru模块、gru模块的输出连接transformer模块，所述交通流量预测模型的构建过程中，gru的隐含层的层数、隐含层的神经元的个数、transformer的层数和多头注意力的头数基于默认值确定；

4、参数修正，基于智能寻优算法迭代更新交通流量预测模型中学习率以及学习率衰减、gru的隐含层的层数、隐含层的神经元的个数、transformer的层数和多头注意力的头数的参数取值组合，并基于在当前参数取值组合下交通流量预测模型的预测准确性判断当前参数取值组合的优选程度，所述智能寻优算法基于不同参数取值组合的优选程度驱动不同参数取值组合趋向最佳参数取值组合变化；

5、基于参数修正后的学习率以及学习率衰减、gru的隐含层的层数、隐含层的神经元的个数、transformer的层数和多头注意力的头数重构交通流量预测模型；

6、基于交通流量训练数据训练重构后的交通流量预测模型，获取训练完成的交通流量预测模型；

7、基于训练完成的交通流量预测模型进行交通流量预测。

8、特别地，重构所述交通流量预测模型具体包括：

9、获取pems数据集，将所述pems数据集基于预设比例分为训练集、验证集和测试集；并将所述训练集、验证集和测试集进行归一化处理；

10、预设智能寻优算法的参数信息，所述参数信息包括第一参数组合和所述参数取值组合；

11、基于所述交通流量预测模型构建评价目标函数确定所述智能寻优算法中的适应度值函数；

12、基于所述参数信息执行所述智能寻优算法，在所述智能寻优算法满足预设条件时确定最佳参数取值组合；

13、基于所述最佳参数取值组合对所述交通流量预测模型进行重构；基于所述训练集和验证集对重构的交通流量预测模型进行训练和验证。

14、特别地，所述确定最佳参数取值组合，具体包括：

15、基于所述参数信息确定初始参数，所述初始参数包括参数取值组合集p，个体维度，预测模型收敛因子，最大迭代次数，学习率以及学习率衰减、gru的隐含层的层数、隐含层的神经元的个数、transformer的层数和多头注意力的头数；

16、基于预设概率函数对所述参数取值组合集进行预处理确定初始化的参数取值组合集；

17、基于所述评价目标函数确定适应度值，基于所述适应度值确定所述参数取值组合集中的初始最佳参数取值组合，基于柯西算子对所述初始最佳参数取值组合进行扰动确定最佳参数取值组合；

18、基于所述参数取值组合集的所述最佳参数取值组合确定所述参数取值组合集的子参数取值组合，基于所述子参数取值组合基于更新策略迭代确定最佳参数取值组合。

19、特别地，所述更新策略具体包括：

20、获取所述参数取值组合集中的每组参数取值组合的适应度值并确定最佳参数取值组合；

21、基于所述参数取值组合集和所述最大迭代次数确定所述参数取值组合集的子参数取值组合的数量信息；

22、基于子参数取值组合的适应度值和所述子参数取值组合之间的距离信息确定子参数取值组合集的特征值，基于所述子参数取值组合集的特征值确定该子参数取值组合集的最佳参数取值组合；

23、基于所述特征值将所述子参数取值组合集进行排序，基于预设随机概率的大小执行参数更新策略确定新的最佳参数取值组合；

24、在所述子参数取值组合集中任意确定一个随机子参数取值组合；

25、基于所述随机子参数取值组合和所述最佳参数取值组合确定更新的参数取值组合；

26、基于所述更新的参数取值组合和所述最佳参数取值组合确定参考参数取值组合信息；

27、所述参考参数取值组合信息的适应度值大于所述子参数取值组合集的最佳参数取值组合时，将所述最佳参数取值组合更新为所述参考参数取值组合；

28、重复上述步骤直至所有子参数取值组合集均完成更新并且满足最大迭代次数时确定最终的最佳参数取值组合。

29、特别地，所述transformer模块对gru模块的输出序列数据的处理过程，包括：

30、5.1获取所述gru模块输出的特征序列，基于位置编码对所述特征序列进行位置添加确定优化的特征序列，基于所述优化的特征序列中的特征向量进行映射确定所述transformer模块的输入层；

31、5.2基于对所述输入层数据进行第一预处理后确定所述特征序列的矩阵序列，基于所述矩阵序列进行投影确定注意力得分；基于每个单头的注意力得分进行拼接和线性变换确定所述transformer模块的多头注意力层；

32、5.3基于经过所述多头注意力层的数据状态传递至归一化层和前馈网络层确定所述transformer模块的输出状态。

33、特别地，所述位置编码具体包括：在获取gru模块的输出数据后，对每个时刻的数据增加位置编码，位置编码令牌et为：

34、

35、特别地，所述第一预处理包括基于所述输入层数据结合预设卷积核和激活函数进行卷积处理确定处理后的特征序列。

36、特别地，所述5.2具体包括：

37、所述多头注意力层的结果表征为：

38、所述和是第i个注意头的投影矩阵，所述wo拼接后的结果进行线性变换的权重矩阵，softmax为激活函数。

39、第二方面，本技术提供基于融合transformer的图卷积循环网络的交通流量预测系统，所述系统具体包括：

40、构建交通流量预测模型模块，所述交通流量预测模型模块包括节点自适应参数学习(napl)模块、数据自适应图生成(dagg)模块、gru模块、transformer模块；napl模块和dagg模块的输出连接gru模块、gru模块的输出连接transformer模块，所述交通流量预测模型的构建过程中，gru的隐含层的层数、隐含层的神经元的个数、transformer的层数和多头注意力的头数基于默认值确定；

41、参数修正模块，基于智能寻优算法迭代更新交通流量预测模型中学习率以及学习率衰减、gru的隐含层的层数、隐含层的神经元的个数、transformer的层数和多头注意力的头数的参数取值组合，并基于在当前参数取值组合下交通流量预测模型的预测准确性判断当前参数取值组合的优选程度，所述智能寻优算法基于不同参数取值组合的优选程度驱动不同参数取值组合趋向最佳参数取值组合变化；

42、重构模块，基于参数修正后的学习率以及学习率衰减、gru的隐含层的层数、隐含层的神经元的个数、transformer的层数和多头注意力的头数重构交通流量预测模型；

43、预测模块，基于交通流量训练数据训练重构后的交通流量预测模型，获取训练完成的交通流量预测模型；基于训练完成的交通流量预测模型进行交通流量预测。

44、本发明的基于融合transformer的图卷积循环网络的交通流量预测方法及系统，具备如下有益效果：

45、1本技术中的基于融合transformer的图卷积循环网络的交通流量预测方法及系统，能自动推断不同交通序列之间的相互依赖关系，基于transformer嵌入自适应图卷积循环中来捕获长短程的时间依赖性，增强捕捉局部和全局的时间相关性的能力。

46、2.本技术基于智能寻优算法寻找最佳参数组合，以自动化的方式使用有限的计算资源，对参数取值组合进行全局寻优再找到最佳参数组合后重构模型进行训练与预测，提高了本技术中模型的预测精度，有效的提高交通流量预测的准确率。

47、3.本技术中采用多头注意力机制提供的一种并行机制，可以聚合来自不同子空间关注不同位置的信息，从而增强模型的表示能力，以更有效的关注时间序列数据的长期相关性从而增强交通流量预测模型预测结果的准确性。