一种基于强化学习的CACC车辆单平面交叉通行控制方法与流程

本发明涉及微观交通流领域，具体涉及一种基于强化学习的cacc车辆单平面交叉通行控制方法。

背景技术：

1、随着移动互联技术的发展与应用，在原有自适应式巡航控制(acc)的基础上，全方位融合车路协同技术，产生了协同自适应式巡航控制(cacc)。与acc系统相比，cacc系统通过车载通信技术实时获取周围车辆的行驶信息，对自身的速度、加速度进行实时调整，进而与其他车辆编组形成高效、稳定、安全的cacc车队，以相互协调的速度共同向前行驶。cacc系统的应用可以有效地缓解交通压力，提高道路的通行能力，实现交通的可持续发展。

2、现有技术中，在平面交叉路段，传统的车辆通行控制方法包括主路优先控制、环岛控制和信号控制，以信号控制最为典型，具体可分为定时式信号控制、感应式信号控制和自适应式信号控制。定时式信号控制基于历史流量数据进行信号配时计算，无法根据实时的交通状况选择合适的信号相位与相位持续时间；感应式信号控制使用一组静态参数以适应交通需求的变化，鲁棒性较差；自适应式信号控制利用固定检测装置检测车辆到达的瞬间信息，获取信息有限且成本较高。因此，传统交叉口信号控制方法无法适应于cacc同质交通流环境，难以扩展至无人驾驶环境下的平面交叉车辆通行控制。

技术实现思路

1、本发明要解决的技术问题在于提供一种适用于cacc同质交通流环境，可改善平面交叉路段的交通安全、提高平面交叉路段车辆的通行效率、减少平面交叉路段cacc车队的解散次数的基于强化学习的cacc车辆单点平面交叉通行控制方法。

2、为了解决上述技术问题，本发明提供如下技术方案。

3、一种基于强化学习的cacc车辆单点平面交叉通行控制方法，包括，

4、1)识别交通状态，构建车辆位置矩阵和速度矩阵；

5、2)构建强化学习模型，根据车辆的位置矩阵和状态矩阵，进行通行方向的选择；

6、3)实时检测cacc车辆流量，并根据cacc车辆的排队车辆数和cacc车辆的实时流量计算允许通行时间；

7、4)监测cacc车队末尾车至停车线的距离，进行cacc车队清空时间计算。

8、进一步的，所述构建车辆位置矩阵和速度矩阵包括，

9、1)将交叉口的道路划分为若干单元格构建网格图；

10、2)每个单元格记录该位置车辆的相关信息，相关信息包括车辆的状态信息与车辆速度。

11、进一步的，所述车辆的状态信息包括车辆为cacc车队领航车、cacc车队成员车以及未编组入cacc车队的cacc自由车；所述构建速度矩阵和位置矩阵包括：

12、1)若网格图的某单元格上的车辆是cacc车队领航车，则位置矩阵的对应位置为1，速度矩阵的对应位置为该车辆的速度；

13、2)若网格图的某单元格上的车辆是cacc车队成员车，则位置矩阵的对应位置为2，速度矩阵的对应位置为该车辆的速度；

14、3)若网格图的某单元格上的车辆是cacc自由车，则位置矩阵的对应位置为3，速度矩阵的对应位置为该车辆的速度；

15、4)若网格图的某单元格内没有车辆，则位置矩阵和速度矩阵的对应位置均为0。

16、进一步的，所述构建强化学习模型，根据车辆的位置矩阵和状态矩阵，进行通行方向的选择包括，

17、1)基于深度强化学习算法构建强化学习神经网络结构，所述强化学习神经网络结构包括两层卷积层、两层池化层以及两层全连接层，所述每个卷积层后对应连接一个池化层；

18、2)根据车辆等待时间定义奖励函数；

19、3)定义动作和动作选择，动作定义为可选的信号相位，动作选择定义为信号相位选择，信号相位选择表示具体的通行方向选择；

20、4)选择当前状态下的通行方向，位置矩阵和速度矩阵为作为强化学习模型的输入，经过卷积层、池化层和全连接层，获得每个信号相位在当前交通状态下的价值，价值是所有奖励函数奖励值的期望，选择价值最大的信号相位作为允许通行方向，其余方向作为禁止通行方向。

21、进一步的，所述根据车辆等待时间定义奖励函数为：

22、r＝-w

23、其中，r表示当前交通状态下的奖励值；w表示当前交通状态下平面交叉口范围内车辆的平均等待时间(s)。

24、进一步的，所述实时检测cacc车辆流量，并根据cacc车辆的排队车辆数和cacc车辆的实时流量计算允许通行时间；包括，

25、1)计算进口道的cacc车辆到达流量；

26、2)根据cacc车辆到达流量和cacc车辆的排队车辆数计算单进口方向的绿灯持续时间；

27、3)根据各单进口方向的绿灯持续时间获得相位绿灯持续时间。

28、进一步的，所述计算进口道的cacc车辆到达流量包括，

29、设某一进口道检测器有效识别范围的长度为ld(km)，检测范围内的直行cacc车辆数为ns，车辆的空间平均速度为vt(km/h)，直行车道组的车道数为ns，则cacc车辆在该进口道直行单车道到达流量qs(veh/h)表示为：

30、

31、进一步的，所述根据cacc车辆到达流量和cacc车辆的排队车辆数计算单进口方向的绿灯持续时间包括，

32、假设当前相位下该单进口道i车道上的排队车辆数为ni，则当前状态下i车道上的车辆清空时间为：

33、t0＝l1+ht·ni

34、其中，t0表示当前状态下i车道的车辆清空时间(s)；l1表示车辆启动损失时间(s)；ht表示饱和车头时距(s)；

35、该时间段内cacc直行单车道到达流量qs，则该段时间内到达的cacc车辆数n1为：

36、n1＝t0·qs/3600

37、清空n1辆车所需的时间为：

38、t1＝ht·qst0/3600

39、清空nn辆车所需的时间为：

40、tn＝(ht·qs/3600)nt0

41、清空i车道的排队车辆所需时间ti为：

42、

43、则对于该进口道，绿灯持续时间ts为所有车道清空排队车辆所需时间的最大值：

44、ts＝maxi(ti)。

45、进一步的，所述根据各单进口方向的绿灯持续时间获得相位绿灯时间包括，

46、根据各个单进口方向绿灯持续时间计算，对比需要同时放行的对应进口方向绿灯持续时间，选择其中最大的所有车道清空排队车辆所需时间的最大值作为该相位的绿灯持续时间t。

47、进一步的，所述监测cacc车队末尾车至停车线的距离，进行cacc车队清空时间计算包括，

48、根据当前相位下绿灯时间结束时车道上未完全通过交叉口的cacc车队中最后一辆成员车与停车线的距离，且黄灯持续期间仍有部分车辆驶过停车线，则在道路交叉口，cacc车队清空时间的计算公式为：

49、

50、其中，tc表示理想cacc车队清空时间(s)；li表示当前相位下i车道上未完全通过交叉口的cacc车队最后一辆成员车与停车线的距离(m)；l表示车身长度(m)；v表示cacc车队最后一辆成员车的速度(m/s)，a表示该相位的黄灯时间(s)；lb表示该相位转换后的清尾损失时间(s)，a-lb表示黄灯期间可以被利用的时间。

51、本发明的有益效果：

52、本发明提出的基于强化学习的cacc车辆单点平面交叉通行控制方法，适用于cacc车辆的同质交通流场景。基于cacc车辆的编组化行驶特点，并结合路测感知信息与车路通信数据，识别交叉口的交通状态信息，并建立车辆的位置矩阵和速度矩阵，位置矩阵和速度矩阵通过构建的深度强化学习网络模型，生成各方向车流的通行状态和允许通行时间，具有较强的实时性、鲁棒性、独立性和可调节性，且又进行关于cacc车队清空时间计算，减少cacc车辆因车队重组而产生的延误。从而整体上可改善平面交叉路段的交通安全、提高平面交叉路段车辆的通行效率、减少平面交叉路段cacc车队的解散次数。