一种应急车道临时借道控制方法、装置、设备及介质与流程

本发明涉及道路交通优化控制，尤其涉及一种应急车道临时借道控制方法、装置、设备及介质。

背景技术：

1、应急车道管控是智慧高速主动管控技术中的重要内容，硬路肩作为应急救援通道，可在道路没有拓宽余地的情况下创造通行空间，在某些状态下可以作为额外车道使用，动态硬路肩可根据高峰期拥堵水平、非高峰期间事故或其他情况，通过动态开启硬路肩作为一条道，提升道路通行能力，有效缓解拥堵。

2、但现有的研究策略偏向静态管控，在时间固定的情况下，过早或过晚开放应急车道都会降低对拥堵车流的缓解能力，无法应对复杂的交通状态。

3、公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、本发明提供了一种应急车道临时借道控制方法、装置、设备及介质，从而有效解决背景技术中的问题。

2、为了达到上述目的，本发明所采用的技术方案是：一种应急车道临时借道控制方法，包括如下步骤：

3、构建高速公路场景的路网环境；

4、搭建dqn算法以实现应急车道开放长度的实时调节；

5、所述路网环境与所述dqn算法进行交互训练；

6、测试验证交互训练的dqn算法参数，得到优化后的dqn应急车道控制模型。

7、进一步地，所述构建高速公路场景的路网环境，包括：

8、设定交通流相关的参数，所述参数至少包括高速公路的拓扑结构、车道数量、节点信息等，以及车辆生成、目的地；

9、通过sumo创建高度仿真的高速公路路网环境。

10、进一步地，所述dqn算法是指采用深度强化学习中的深度q网络算法来设计应急车道的开放策略，定义动作空间，包括交通流信息、车辆密度；所述动作空间为应急车道的开放长度。

11、进一步地，所述搭建dqn算法以实现应急车道开放长度的实时调节，包括：将路段阻塞长度的相反数定义为奖励函数，奖励函数的模型包括：

12、

13、式中，α表示权重系数，表示在t时刻每个车道li的阻塞长度，li∈l，st表示在t时刻观察高速公路路段环境获得交通流运行状态，at表示开放应急车道的距离长度的选择。

14、进一步地，所述在t时刻观察高速公路路段环境获得交通流运行状态st，包括获取每个车道li上路的交通流量、密度和车流速度，运行状态st的模型包括：

15、st＝{qt,mt,vt}。

16、进一步地，所述开放应急车道的距离长度的选择at作为模型的决策动作，根据交通状态选择当前开启多少单元长度的应急车道作为高速公路的附加车道；

17、将拥挤车流附近的应急车道按一定距离划分为单元格的形式，为模型定义n个可选择的应急车道开放数量，管控方案集合可表示为at＝{0,1,2,3,···,n}，即可供选择的应急车道开放单元数量分别为0，1，2，……，n。

18、进一步地，所述路网环境与所述dqn算法进行交互训练过程包括：

19、初始化算法参数，从高速公路路段获得交通观测状态，将所述交通观测状态指标值输入到神经网络中；

20、将所述神经网络输出动作的q值，通过ε-greedy策略选择动作a，将当前运行状态、决策动作、下个时间步的运行状态以及奖励值存储在经验回放单元；

21、在所述经验回放单元中随机地抽取小批量的样本数据，用它们来更新神经网络的权重值。

22、本发明还包括一种应急车道临时借道控制装置，使用上述的方法，包括：

23、构建模块，用于构建高速公路场景的路网环境；

24、搭建模块，用于搭建dqn算法以实现应急车道开放长度的实时调节；

25、交互训练模块，用于所述路网环境与所述dqn算法进行交互训练；

26、测试验证模块，用于测试验证所述交互训练的dqn算法参数，得到优化后的dqn应急车道控制模型。

27、本发明还包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的方法。

28、本发明还包括一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的方法。

29、本发明的有益效果为：

30、1、能够根据实时交通情况动态调整应急车道控制策略，使得控制系统更加灵活，保持对交通环境变化的快速适应能力，在未知情境下做出相对合理的决策，提高系统的鲁棒性；

31、2、能够更有效地捕捉复杂的非线性关系和大规模交通数据中的模式，根据新的交通数据进行实时更新和调整，从而提高应急车道控制策略的准确性和适应性；

32、3、能够更准确地预测交通流，并制定优化的应急车道控制策略，从而提高交通流效率，减轻交通压力；同时减少车辆的行驶时间和怠速时间，能够降低车辆燃料消耗，从而减少环境污染。

技术特征：

1.一种应急车道临时借道控制方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的应急车道临时借道控制方法，其特征在于，所述构建高速公路场景的路网环境，包括：

3.根据权利要求1所述的应急车道临时借道控制方法，其特征在于，所述dqn算法是指采用深度强化学习中的深度q网络算法来设计应急车道的开放策略，定义动作空间，包括交通流信息、车辆密度；所述动作空间为应急车道的开放长度。

4.根据权利要求1所述的应急车道临时借道控制方法，其特征在于，所述搭建dqn算法以实现应急车道开放长度的实时调节，包括：将路段阻塞长度的相反数定义为奖励函数，奖励函数的模型包括：

5.根据权利要求4所述的应急车道临时借道控制方法，其特征在于，所述在t时刻观察高速公路路段环境获得交通流运行状态st，包括获取每个车道li上路的交通流量、密度和车流速度，运行状态st的模型包括：

6.根据权利要求5所述的应急车道临时借道控制方法，其特征在于，所述开放应急车道的距离长度的选择at作为模型的决策动作，根据交通状态选择当前开启多少单元长度的应急车道作为高速公路的附加车道；

7.根据权利要求1所述的应急车道临时借道控制方法，其特征在于，所述路网环境与所述dqn算法进行交互训练过程包括：

8.一种应急车道临时借道控制装置，其特征在于，使用如权利要求1至7中任一项所述的方法，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结本发明涉及道路交通优化控制技术领域，尤其涉及一种应急车道临时借道控制方法、装置、设备及介质，包括构建高速公路场景的路网环境；搭建DQN算法以实现应急车道开放长度的实时调节；所述路网环境与所述DQN算法进行交互训练；测试验证交互训练的DQN算法参数，得到优化后的DQN应急车道控制模型；能够根据实时交通情况动态调整应急车道控制策略，使得控制系统更加灵活，保持对交通环境变化的快速适应能力，在未知情境下做出相对合理的决策，提高系统的鲁棒性；能够更有效地捕捉复杂的非线性关系和大规模交通数据中的模式，根据新的交通数据进行实时更新和调整，从而提高应急车道控制策略的准确性和适应性。技术研发人员：杨阳,张志祥,刘强,李东亚受保护的技术使用者：江苏中路工程技术研究院有限公司技术研发日：技术公布日：2024/5/27