一种城市交通大数据的模型清洗及预测方法、介质及系统与流程

本发明属于城市交通，具体而言，涉及一种城市交通大数据的模型清洗及预测方法、介质及系统。

背景技术：

1、随着城市化进程的不断推进,汽车保有量快速增长,导致城市交通拥堵问题日益严重,给城市运转、经济发展、环境质量和居民生活带来诸多负面影响。因此,如何实现城市交通高效有序运转,缓解和预防交通拥堵,成为当前亟需解决的重大挑战。

2、目前,主要采取以下几种技术手段来应对城市交通拥堵:

3、1.交通建设与扩容

4、不断加大交通基础设施建设力度,包括新建道路、立交桥、人行天桥等,提高路网密度和通行能力。但由于受到城市空间和资金限制,单纯依靠扩容已难以根本解决问题。

5、2.交通信号优化与路网调控

6、借助物联网技术,实时监测路况,动态调节信号灯周期和相位,并通过诱导或交通卡口等方式,引导车流合理分布。这是缓解拥堵的主要手段,但对突发或区域性拥堵状况效果并不理想。

7、3.交通需求管理

8、包括提高公共交通服务质量、推广共享出行模式、实施拥堵费或者限行限购等举措,从源头压缩私家车出行需求。但这些措施实施难度较大,调控效果往往滞后于拥堵形成。

9、4.智能交通预测与决策

10、近年来,人工智能技术飞速发展,基于大数据分析、机器学习和建模仿真等方法,可对交通流量、路况和拥堵程度进行预测,并辅助制定交通管控方案。这是大势所趋,但现有技术在预测精度、鲁棒性和可解释性等方面仍有待提高。

11、现有智能交通预测技术主要存在以下问题:

12、1)建模尺度较粗,缺乏对区域性甚至路段级别细微交通变化的预测能力。大多数方法只能预测整个城市或行政区域的总体交通状况,由于交通的数据量大，不能给出具体道路的流量和拥堵程度的预测。

技术实现思路

1、有鉴于此，本发明提供一种城市交通大数据的模型清洗及预测方法、介质及系统，能够解决现有的智能交通预测技术建模尺度较粗,缺乏对区域性甚至路段级别细微交通变化的预测能力，不能给出具体道路的流量和拥堵程度的预测的技术问题。

2、本发明是这样实现的：

3、本发明的第一方面提供一种城市交通大数据的模型清洗及预测方法，其中，包括以下步骤：

4、s10、建立城市道路网络图，设置根据历史城市交通数据统计得到的单个车辆平均匀速直线行驶最长距离作为一个路段长度单位，将所述城市道路网络图中的道路划分为多个路段，建立城市路段网络图；

5、s20、在所述历史城市交通数据中，添加每个路段的流畅度标签，并得到城市交通每个时间段的流畅度矩阵；

6、s30、对所述历史城市交通数据进行清洗和筛选，得到与流畅度相关的交通数据，并训练一个神经网络模型，得到基础流畅度模型，其中，训练的输入为每个时间段的与流畅度相关的交通数据，训练的输出为对应时间段的流畅度矩阵；

7、s40、按照时间段划分，使用所述基础流畅度模型预测的下一个时间段的流畅度矩阵，记为预测流畅度矩阵，并与实时采集的交通数据得到的实际流畅度矩阵进行对比，得到差异度矩阵；

8、s50、对连续多个时间段的差异度矩阵进行聚类,得到多个差异度超过差异度阈值的聚类对应的差异度矩阵的区域作为差异区域；

9、s60、对于每个差异区域,从所述历史城市交通数据中提取所述差异区域的相关交通数据作为训练集,训练一个针对所述差异区域的lora模型；

10、s70、获取当前的城市交通数据，输入到所述基础流畅度模型得到下一个时间段的流畅度矩阵，记为基础预测流畅度矩阵；

11、s80、对于每个差异区域,使用对应的lora模型在所述基础预测流畅度矩阵的基础上,对所述差异区域的部分流畅度矩阵进行优化调整,得到所述差异区域优化后的部分流畅度矩阵；

12、s90、将所有的差异区域优化后的部分流畅度矩阵与所述基础预测流畅度矩阵中非差异区域部分进行拼接,得到整体优化的下一时间段流畅度预测矩阵并输出。

13、其中，所述城市交通数据至少或全部包括:路段车辆数量、路段平均车速、路口信号灯周期、天气情况、日期时间。

14、所述时间段为:将一天24小时按照交通高峰和非高峰时段划分,例如6-9点、17-20点为高峰时段,其余时间为非高峰时段。

15、其中，所述差异度阈值定义为:预测流畅度矩阵与实际流畅度矩阵的均方根误差值，记作rmse,当某个区域的rmse超过预设阈值时,将该区域定义为差异区域。

16、其中，所述城市路段网络图为无向加权图。

17、所述步骤s10具体包括:

18、步骤101、利用城市道路的地理空间信息以及道路的连接关系,采用图论中的网络建模方法,建立包含所有道路及其关系的城市道路网络图,所述城市道路网络图可建模为无向加权图,其中包括路口节点集合、道路边集合以及边的权重矩阵;

19、步骤102、设置根据历史城市交通数据统计得到的单个车辆平均匀速直线行驶最长距离作为路段长度单位,参考值为1公里;

20、步骤103、将所述城市道路网络图中的每条道路按照所述路段长度单位划分为多个路段;

21、步骤104、建立包含所有道路路段的城市路段网络图,所述路段网络图亦可表示为无向加权图,其中节点表示路段起止点,边表示路段,权重为路段长度。

22、其中，所述流畅度定义为：对于任意路段，当路段上车辆平均行驶速度小于限速的60%时,视为拥堵;在60%-80%之间时,视为缓行;大于80%时为畅通。

23、所述步骤s20具体包括:

24、步骤201、确定路段流畅度的量化标准,常用的定义为:当路段上车辆平均行驶速度小于限速的60%时,视为拥堵;在60%-80%之间时,视为缓行;大于80%时为畅通;

25、步骤202、对于每个路段在某个时间段内的所有数据样本,计算其平均车速;

26、步骤203、根据所述量化标准,给定每个路段在该时间段的流畅度标签,如0表示拥堵,1表示缓行,2表示畅通;

27、步骤204、对任意一个时间段,汇总所有路段的流畅度标签,得到该城市在该时间段内所有路段的流畅度矩阵,其维度为m*n,m为时间段数,n为路段总数。

28、其中，训练所述基础流畅度模型采用的神经网络为前馈网络或卷积网络。

29、所述步骤s30具体包括:

30、步骤301、对历史城市交通数据进行预处理,包括去除异常值、填充缺失值、标准化处理等,目的是消除数据噪声,提高后续模型训练效果;

31、步骤302、确定与流畅度相关的特征作为输入特征,通常包括路段车辆数量、路段平均车速、天气情况等,构建输入特征矩阵,所述输入特征矩阵维度为m*p,m为时间段数,p为特征数;

32、步骤303、以所述输入特征矩阵及对应的流畅度矩阵为训练数据集,采用深度神经网络进行模型训练,所述神经网络可选用前馈网络、卷积网络或者注意力机制网络等;

33、步骤304、对输入特征进行自动特征提取和非线性映射,输出对应的流畅度矩阵预测值;

34、步骤305、训练目标是使预测值与真实值的均方误差最小,通过反向传播算法迭代优化网络参数;

35、步骤306、所得基础流畅度模型可用于对未来时间段的整体城市流畅度进行预测。

36、其中，对所述历史城市交通数据进行清洗和筛选,得到与流畅度相关的交通数据的方法包括:

37、步骤a、去除异常数据,如传感器故障导致的异常值;

38、步骤b、填充缺失数据,使用相邻时段或历史同期数据的均值等方法估算填充;

39、步骤c、标准化处理数据,将不同量纲的数据统一到同一量级;

40、步骤d、相关性分析,计算每个特征与流畅度标签的相关性,保留相关性较高的特征。

41、所述步骤s40具体包括:

42、步骤401、使用所述基础流畅度模型,对下一个时间段的城市交通流畅度进行预测,得到预测流畅度矩阵;

43、步骤402、利用当前时间段实时采集的交通数据,按照所述流畅度量化标准计算出实际流畅度矩阵;

44、步骤403、将所述预测流畅度矩阵与所述实际流畅度矩阵作差,得到差异度矩阵。

45、其中，对连续多个时间段的差异度矩阵进行聚类采用密度聚类、层次聚类或k-means聚类。

46、所述步骤s50具体包括:

47、步骤501、连续跟踪多个时间段的差异度矩阵,发现某些区域长期存在较大偏差,即均方根误差值超过预设阈值;

48、步骤502、所述预设阈值的参考值为0.5;

49、步骤503、对所述长期存在较大偏差的区域进行聚类,得到多个差异区域;

50、步骤504、所述聚类算法采用密度聚类、层次聚类或k-means聚类等方法,常用的是基于密度的聚类算法,如dbscan算法;

51、步骤505、当使用dbscan算法时，所述dbscan算法需要事先设定两个参数:邻域半径ε和最小点数minpts;

52、步骤506、当使用dbscan算法时，所述算法会计算每个点在ε邻域内的相邻点数,如果大于minpts就将其聚为一类,ε和minpts可通过交叉验证法确定合理值。

53、其中，训练lora模型的方法为采用meta学习中的lora方法。

54、所述步骤s60具体包括:

55、步骤601、对于每个差异区域,从历史数据中提取该区域相关的交通数据,构建该区域的训练数据集;

56、步骤602、采用meta学习中的lora方法,将所述基础流畅度模型作为预训练模型;

57、步骤603、在所述预训练模型的基础上,添加一个小的lora适配器模块;

58、步骤604、只需要对所述lora适配器模块的少量参数进行微调训练,即可得到针对该差异区域的lora模型;

59、步骤605、每个差异区域分别对应训练一个lora模型,用于捕捉该区域的流畅度变化特征。

60、所述步骤s70具体包括:

61、步骤701、获取当前时间段的实时城市交通数据,构建输入特征数据;

62、步骤702、将所述输入特征数据传入所述基础流畅度模型;

63、步骤703、利用所述基础流畅度模型预测出下一时间段的整体流畅度矩阵;

64、步骤704、所得整体流畅度矩阵记为基础预测流畅度矩阵。

65、所述步骤s80具体包括:

66、步骤801、对于每个差异区域,提取该区域内所有路段的编号;

67、步骤802、从所述基础预测流畅度矩阵中,提取所述路段编号对应的初始预测值;

68、步骤803、将所述初始预测值作为输入,传入对应的所述lora模型;

69、步骤804、所述lora模型对初始预测值进行优化调整,得到优化后的预测值;

70、步骤805、将所述优化后的预测值替换到基础预测流畅度矩阵中对应位置;

71、步骤806、完成该差异区域部分流畅度矩阵的局部优化调整,得到优化后的部分流畅度矩阵。

72、所述步骤s90具体包括:

73、步骤901、对所有差异区域,汇总得到全部优化后的部分流畅度矩阵;

74、步骤902、从所述基础预测流畅度矩阵中,提取非差异区域的部分;

75、步骤903、将所有优化后的部分流畅度矩阵,与所述非差异区域的部分进行拼接组合;

76、步骤904、得到整体优化的下一时间段流畅度预测矩阵;

77、步骤905、输出所述整体优化的下一时间段流畅度预测矩阵。

78、本发明的第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行上述的一种城市交通大数据的模型清洗及预测方法。

79、本发明的第三方面提供一种城市交通大数据的模型清洗及预测系统，其中，包含上述的计算机可读存储介质。

80、与现有技术相比较，本发明提供的一种城市交通大数据的模型清洗及预测方法、介质及系统的有益效果是：

81、1.预测细粒度更高

82、将连续的道路空间离散化为路段网络,细化了流畅度评估的最小尺度,不仅能够预测整体城市范围内的大致交通状况,还能精确预报每一个路段的拥堵情况,为后续精细化交通管控提供依据。

83、2.预测性能更优异

84、通过创新的双模型架构,结合深度学习和meta学习两种范式,可以在大规模预训练的基础上,实现对问题区域的高效微调优化,使整体流畅度预测的精度和鲁棒性大幅提升。

85、3.差异区域自动发现

86、引入了差异区域的自动发现和建模机制,能够动态捕捉那些基础模型预测效果较差的路网区域,再针对性地优化该区域的局部预测,有效提高了模型的自适应性和泛化能力。

87、4.可解释性和可视化

88、基于路段网络的建模方式,使得模型预测结果可直观映射到实际路网结构上,可解释性更强。同时差异区域的发现机制,也体现了模型对问题的自我诊断和修正能力。

89、5.高效微调和知识迁移

90、采用lora方法仅需训练少量参数,即可快速完成针对特定场景和任务的模型微调,实现了有效的知识迁移和模型压缩,降低了计算和存储开销,便于系统部署。

91、综上所述，本发明解决了现有的智能交通预测技术建模尺度较粗,缺乏对区域性甚至路段级别细微交通变化的预测能力，不能给出具体道路的流量和拥堵程度的预测的技术问题。