一种智能信号灯控制的方法和装置与流程

本发明涉及交通信号灯智能调控，特别是涉及一种智能信号灯控制的方法和装置。

背景技术：

1、随着近些年车辆数量的不断增加，大多数城市正面临着交通拥堵这一巨大难题。拥挤的道路交通环境对于市民日常生活、社会经济都会造成巨大的负面影响。由于城市化发展速度的增快、城市规划中预留的道路拓展空间有限以及对城市内交通基础设施施工会对市民生产生活造成较大影响，并且随着人均车辆拥有数量的不断提高，问题将变得更加棘手。

2、为了缓解交通压力，优化信号灯的控制技术是缓解该问题的主要方式，但此类技术都是基于时间表或静态规则，采用固定时间间隔控制信号灯的变化，不能智能地对交通状态进行实时评估，缺乏个性化调整能力，无法应对突发情况或交通峰值，导致道路交通拥堵和车辆出行效率低下。

技术实现思路

1、鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的智能信号灯控制的方法和装置，包括：

2、第一发明，本发明提供一种智能信号灯控制方法，所述方法包括：

3、获取目标路口当前的交通状态数据、交通信号灯状态；

4、采用预先训练好的智能体模型，根据所述交通状态数据、交通信号灯状态，得到切换交通灯的第一回报值以及不切换交通灯的第二回报值，并依据所述第一回报值和所述第二回报值，确定交通信号灯的待设置状态；

5、根据所述待设置状态，控制交通信号灯变化。

6、可选地，在所述获取目标路口当前的交通状态数据、交通信号灯状态之前，还包括：

7、将第一输入状态输入至所述智能体模型得到所述第一输入状态执行第一输出动作得到的即时奖励值；

8、将第二输入状态输入至所述智能体模型得到第二输入状态对应的最大值函数；其中，以第一时刻的交通状态数据、交通信号灯状态作为第一输入状态，以第二时刻的交通状态数据、交通信号灯状态作为第二输入状态；其中，所述第二时刻位于第一时刻之后，所述第二输入状态为所述第一输入状态执行第一输出动作之后的状态；

9、对所述即时奖励值和所述最大值函数进行求和计算；

10、所述第一输入状态与所述求和计算得到的结果组成训练样本；

11、将所述训练样本输入至所述智能体模型中进行迭代训练，得到训练好的智能体模型；其中，训练好的智能体模型以交通状态数据、交通信号灯状态作为输入，以切换交通灯的第一回报值以及不切换交通灯的第二回报值组成的二维向量作为输出。

12、可选地，所述第一时刻的交通状态数据、交通信号灯状态包括：交通仿真软件随机生成的交通状态数据、仿真交通信号灯状态，以及真实路口历史的交通状态数据、交通信号灯状态。

13、可选地，所述获取目标路口当前的交通状态数据，包括：

14、通过相机设备获取道路上的第一车辆信息，通过雷达设备获取道路上的第二车辆信息；基于所述第一车辆信息内的时间戳以及所述第二车辆信息内的时间戳对所述第一车辆信息与所述第二车辆信息进行融合得到交通状态数据。

15、可选地，所述根据所述交通状态数据、交通信号灯状态，得到切换交通灯的第一回报值以及不切换交通灯的第二回报值，包括：

16、在识别到交通状态数据中出口道为拥堵的情况下，当所述交通信号灯状态为红灯时，将所述不切换交通灯的第二回报值设置为无穷大；

17、在识别到交通状态数据中出口道为拥堵的情况下，当所述交通信号灯状态为绿灯时，将所述切换交通灯的第一回报值设置为无穷大。

18、可选地，所述即时奖励值是交通状态数据中表示拥堵数据的各项指标的加权平均值。

19、第二方面，本发明提供一种智能信号灯控制装置，所述装置包括：

20、获取模块，用于获取目标路口当前的交通状态数据、交通信号灯状态；

21、模型计算模块，用于采用预先训练好的智能体模型，根据所述交通状态数据、交通信号灯状态，得到切换交通灯的第一回报值以及不切换交通灯的第二回报值，并依据所述第一回报值和所述第二回报值，确定交通信号灯的待设置状态；

22、设置模块，用于根据所述待设置状态，控制交通信号灯变化。

23、本发明实施例具有以下优点：

24、在本发明实施例中，通过获取目标路口当前的交通状态数据、交通信号灯状态；采用预先训练好的智能体模型，根据所述交通状态数据、交通信号灯状态，得到切换交通灯的第一回报值以及不切换交通灯的第二回报值，并依据所述第一回报值和所述第二回报值，确定交通信号灯的待设置状态；根据所述待设置状态，控制交通信号灯变化，实现了根据实时交通状况实时决策交通信号灯的变换状态，提高了交通通行效率，从而降低交通事故风险，提升交通安全性。

技术特征：

1.一种智能信号灯控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述获取目标路口当前的交通状态数据、交通信号灯状态之前，还包括：

3.根据权利要求2所述的方法，其特征在于，所述第一时刻的交通状态数据、交通信号灯状态包括：交通仿真软件随机生成的交通状态数据、仿真交通信号灯状态，以及真实路口历史的交通状态数据、交通信号灯状态。

4.根据权利要求1所述的方法，其特征在于，所述获取目标路口当前的交通状态数据，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据所述交通状态数据、交通信号灯状态，得到切换交通灯的第一回报值以及不切换交通灯的第二回报值，包括：

6.根据权利要求2所述的方法，其特征在于，所述即时奖励值是交通状态数据中表示拥堵数据的各项指标的加权平均值。

7.根据权利要求4所述的方法，其特征在于，所述基于所述第一车辆信息内的时间戳以及所述第二车辆信息内的时间戳对所述第一车辆信息与所述第二车辆信息进行融合得到交通状态数据，包括：

8.一种智能信号灯控制装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的智能信号灯控制的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的智能信号灯控制的方法。

技术总结本发明实施例提供了一种智能信号灯控制方法，所述方法包括：获取目标路口当前的交通状态数据、交通信号灯状态；采用预先训练好的智能体模型，根据所述交通状态数据、交通信号灯状态，得到切换交通灯的第一回报值以及不切换交通灯的第二回报值，并依据所述第一回报值和所述第二回报值，确定交通信号灯的待设置状态；根据所述待设置状态，控制交通信号灯变化。通过本发明实施例，实现了根据实时交通状况实时决策交通信号灯的变换状态，提高了交通通行效率，从而降低交通事故风险，提升交通安全性。技术研发人员：黄文溪受保护的技术使用者：新奇点智能科技集团有限公司技术研发日：技术公布日：2024/6/23