一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法

本发明属于智能交通控制，特别涉及一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法。

背景技术：

1、在城市路网管理与控制中，由于路网的复杂性和规模的庞大性，直接进行管理和控制变得非常困难。因此，将路网分成控制子区域，实行针对性的“分而治之”成为了有效的解决方法。在路网子区内实施公交信号优先控制策略，可以进一步提升城市交通系统的效率。公交信号优先控制不仅能减少公交车辆在路口的停留时间、缩短乘客行程，提升公共交通吸引力，还能鼓励更多人选择公共交通，减少私家车出行，从而降低交通拥堵。因此，通过科学有效的对路网区域内交叉口的控制子区进行划分，再结合公交信号优先控制策略，可以进一步提高公交车的运行效率。

2、传统的多公交信号优先控制模型往往是基于历史数据的，这虽然能够在一定程度上通过预测公交车到达交叉口的时间进行公交信号优先控制，但在面对复杂多变的城市交通环境时，其实时性和准确性往往难以满足需求。随着车联网技术的快速发展，边缘计算为智能交通提供了全新的应用场景，也为公交信号优先控制提供了更高效、低延迟的计算架构。为了确保数据的实时性，提高公交信号优先控制的效率和准确性，在边缘计算环境下进行交通路网分区，并在路网子区内进行公交信号优先控制显得尤为重要。公交车在行驶过程中需要实时获取交通信息，如公交车位置、道路状况、交通流量、信号灯状态等，以便对信号灯及时做出调整和决策。在路边的边缘设备上进行数据处理和信号控制决策，能够在车辆行驶过程中实时收集、处理和分析数据，从而实现更快速的信号优先控制。现有的路网分区方法存在谱聚类算法聚类中心敏感，且在路网分区中存在适应性不足的问题。而现有的公交信号优先控制方法在处理多公交请求时，往往需要复杂的控制逻辑。同时，由于过多的关注公交车优先通行请求，忽略了其他社会车辆的交通延误，且存在模型泛化能力不足、收敛速度较慢等缺陷。因此，迫切需要一种新的方法，能够处理路网区域范围内各个子区内道路交叉口的多公交信号优先控制，既要使公交车辆优先通行，还应尽可能的减少对其他社会车辆的延误和交通拥堵，提高道路交叉口的通行效率。

技术实现思路

1、为了克服上述现有技术的缺点，本发明的目的在于提供一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法。采用基于遗传算法的谱聚类算法(gasc)对城市路网进行分区，各个子区内实施相同的多公交信号优先控制模型，进而达到区域公交信号优先控制的效果。其中，采用基于经验优先回放的分布式竞争深度q网络算法(dpddqn)对多公交信号优先控制模型进行训练，使其能够在处理多公交优先请求的同时，减少其他社会车辆的延误和交通拥堵，最大化车辆的通行效率。

2、为了实现上述目的，本发明采用的技术方案是：

3、一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，包括如下步骤：

4、步骤1，定义边缘节点、协作节点、云端控制中心的功能及协作模式；

5、步骤2，获取城市路网的交通数据，包括交叉口的经纬度、路网拓扑结构、交通流量以及采集交通流量的时间；

6、步骤3，将一天的交通流量划分为早高峰、平峰和晚高峰，并确定路网分区的子区数；

7、步骤4，引入jaccard相似系数和欧式距离构建的交通速度时间序列相似性衡量指标，量化分析交通流速度时间序列之间的相似程度，采用谱聚类算法对路网进行子区分区，并利用遗传算法优化传统谱聚类的聚类中心敏感问题；

8、步骤5，以多公交信号优先控制模型为智能体，定义智能体的学习交互环境，包括状态空间、动作空间和奖励函数；

9、步骤6，获取道路交叉口的当前交通状态数据；所述交通状态数据包括车辆流量、排队长度和交通信号灯状态信息；

10、步骤7，使用经验优先回放机制、竞争深度q网络、分布式深度q网络以及huber损失函数，对深度q网络进行改进，得到带有经验优先回放的分布式竞争深度q网络；

11、步骤8，将步骤6数据输入带有经验优先回放的分布式竞争深度q网络，对多公交信号优先控制模型进行训练；

12、步骤9，将多公交信号优先控制模型部署到各个交叉口的边缘设备上，根据模型输出，对交通信号灯进行控制；

13、步骤10，通过交互环境和收集经验，智能体使用梯度下降法更新网络权重，以最大化未来的累积奖励。

14、在一个实施例中，所述步骤1，在交叉口部署边缘节点，所述边缘节点用于部署多公交信号优先控制模型，当每个边缘节点独立完成数据采集和预处理后，远程云端控制中心作为中央控制，负责进行路网子区分区，选择协作节点，管理和部署边缘节点。

15、在一个实施例中，所述边缘节点构成智能节点层，协作节点构成协同计算层，云端控制中心作为云计算层，与数据源层一同构成边缘计算环境下的公交信号优先控制系统；

16、所述数据源层包括车载终端、信号灯控制机和监控摄像头，实时收集包括交通流速度、车辆位置、交叉口状态在内的数据；

17、所述智能节点层接收数据源层数据，进行预处理、分析，并就近训练和更新多公交信号优先控制模型，收敛后的模型将会根据实时交通状况调整信号灯状态；

18、所述协同计算层，通过协作节点实现信息协同和计算协同，确保边缘节点间的数据交互、共享和模型统一，动态分配任务给下层节点。

19、与现有技术相比，本发明的有益效果是：

20、现有技术往往采用多智能体协作的方式进行多交叉口公交信号优先控制，这使得当某一个智能体出现问题时，其余相邻的智能体均会受到影响。这是因为多智能体系统通常依赖于智能体之间的信息共享、决策协商和协同工作来实现整体目标。如果一个智能体无法正常工作或提供准确的信息，那么与之相关的其他智能体可能无法做出正确的决策或采取适当的行动，从而导致整个系统的性能下降或不稳定。此外，传统的公交信号优先控制模型在道路交叉口对公交车进行信号优先控制时，通常是基于历史数据的，且需要复杂的控制逻辑才能处理交叉口的多公交信号优先请求，这使得在处理公交信号优先控制请求时存在一定的时延。此外，现有技术在使公交车优先通行的同时，增加了社会车辆的延误，且存在模型泛化能力不足、收敛速度较慢的特点。

21、本发明的边缘计算环境下基于深度强化学习的多公交信号优先控制方法将模型部署到边缘设备上，使其能够就近接收并处理交通数据，使模型能够基于实时数据进行训练，降低了数据传输的延迟，使得模型能够基于实时数据进行训练和决策，提高了整个交通控制系统的响应速度和准确性。采用gasc对城市路网进行划分，在相同子区内部署同一种多公交信号优先控制模型，避免了因某一智能体故障导致整个系统性能下降或不稳定的问题。此外，采用dpddqn深度强化学习算法能够更加方便、快速的处理多公交请求，在使公交车优先通行的同时，也减少了社会车辆的延误和交叉口的排队长度，此外，模型的泛化能力和收敛速度都得到了明显的提升。

技术特征：

1.一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，所述步骤1，在交叉口部署边缘节点，所述边缘节点用于部署多公交信号优先控制模型，当每个边缘节点独立完成数据采集和预处理后，远程云端控制中心作为中央控制，负责进行路网子区分区，选择协作节点，管理和部署边缘节点。

3.根据权利要求1或2所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，所述边缘节点构成智能节点层，协作节点构成协同计算层，云端控制中心作为云计算层，与数据源层一同构成边缘计算环境下的公交信号优先控制系统；

4.根据权利要求1所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，所述步骤3，将多天的交通流速度时间序列按照采样时间进行平均化处理，分别得到各个交叉口早高峰、平峰和晚高峰三个时间段的交通流速度；确定路网分区的子区数的方法如下：

5.根据权利要求4所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，所述步骤4，引入jaccard相似系数和欧式距离构建交通流时间序列相似性衡量指标，量化分析交通流速度时间序列之间的相似程度，采用谱聚类算法对路网进行子区分区，方法如下：

6.根据权利要求5所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，所述将每条路段上的交通流速度时间序列视为一个集合，利用交通流时间序列相似性衡量指标计算两个集合的相似程度；以路网交通流速度时间序列x中的样本为个体，采用谱聚类算法对路网进行子区分区，包括如下步骤：

7.根据权利要求6所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，对于两条路段的n个时间序列x1＝(x11,x12,…,x1i,…,x1n)和x2＝(x21,x22,…,x2i,…,x2n)，其欧式距离定义如下：

8.根据权利要求1所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，所述步骤5，状态空间定义为：

9.根据权利要求8所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，以所述状态空间sd中每个元素的值的表示为数组，则数组中的元素通过编码来表示不同的状态信息，将每辆车辆状态映射到状态数组中的相应位置，状态编码包括：1)车辆在车道上的位置通过反转和映射，将车辆位置映射到不同的车道单元格；2)车辆所在的车道组和单元格组合成一个字符串，并转换为整数，以创建一个唯一的车辆位置标识；3)根据公交车所在的车道组和单元格，计算出公交车在状态数组中的位置，将其标记为1，表示该单元格被公交车占用，标记为2表示被社会车辆占用，标记为0表示该位置没有车辆。

10.根据权利要求1所述的一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法，其特征在于，所述步骤7，对深度q网络进行改进的方法包括：

技术总结本发明公开了一种边缘计算环境下基于深度强化学习的多公交信号优先控制方法。采用基于遗传算法的谱聚类算法(GASC)对城市路网进行分区，各个子区内实施相同的多公交信号优先控制模型，进而达到区域公交信号优先控制的效果。其中，采用基于经验优先回放的分布式竞争深度Q网络算法(DPDDQN)对多公交信号优先控制模型进行训练，使其能够在处理多公交优先请求的同时，减少其他社会车辆的延误和交通拥堵，最大化车辆的通行效率。技术研发人员：庄旭菲,陈俊楠,杨晨曦,李衡受保护的技术使用者：内蒙古工业大学技术研发日：技术公布日：2024/7/15