一种自动驾驶汽车T字交叉口左转控制方法、系统和设备

本发明属于交通控制，特别涉及一种自动驾驶汽车t字交叉口左转控制方法、系统和设备。

背景技术：

1、随着人控制智能等前言技术的崛起，使得机器人能够认识当前所处环境并对其做出一定回应，这同时也推动了自动驾驶系统的迅速发展。自动驾驶系统本质上对应着一个集成了感知、决策规划、动力学控制三大块内容的复杂系统，其中决策规划其中的重点之一，就是帮助自动驾驶汽车实现策略的制定和轨迹的生成。然而针对真实道路环境下的复杂交通变化场景，自动驾驶技术还是受到各种瓶颈问题的阻碍，需要更复杂的算法和更强的数据处理能力，以保证安全和高效的驾驶。在自动驾驶领域当中，决策的目的在于为规划提供参考，很大程度上降低了规划时的计算消耗，可分为基于规则和基于学习这两大类。基于规则的方法通过人类的经验知识和规则库实时推导出驾驶行为；基于有限状态机模型的行为决策系统由于逻辑清晰简单，被许多量产辅助驾驶车辆延用至今。

2、无信号交叉口车辆无保护左转任务是自动驾驶领域当中的重要挑战之一。十字路口的碰撞占每年报告的事故的很大比例，t字交叉口的无保护左转碰撞尤为常见。现有技术中公开的关于自动驾驶汽车t字交叉口左转控制的第一种方法为：采用交互感知运动规划框架，结合了传统的基于采样的规划算法和基于强化学习的速度训练策略，但该方法经验证后不能完全保证实现左转过程，并且在超时方面相比基线算法呈现劣势。第二种方法为：利用经典强化学习算法dqn，车辆通过观察交叉口相交道路上车辆的速度和距离，并使用一种策略沿着预定义的轨迹调整车辆速度。然而该方法也不能保证完全的成功率，并且由于dqn算法的动作空间是离散的，将其用于速度的调整会对乘客舒适度造成一定的负面影响。第三种方法为：通过覆盖交叉口的有效策略，以允许车辆处理不同的场景。然而车辆仍会导致多数碰撞，需要更多的研究来提高稳健性。总而言之，针对t字交叉口无保护左转的研究，传统的基于规则方法过于保守，在随机性较强的交叉口环境下不能够有效地执行驾驶任务。在交通场景复杂的情况下，使用单一模型时其收敛效果较差，并且拥有较低的通过率和较差的安全性。

技术实现思路

1、为了解决上述技术问题，本发明提出了一种自动驾驶汽车t字交叉口左转控制方法、系统和设备，用于进行车辆的高级行为决策和纵向加速度规划，预先生成车辆左转时的路径点，减少探索空间，安全高效地完成左转过程。

2、为实现上述目的，本发明采用以下技术方案：

3、一种自动驾驶汽车t字交叉口左转控制方法，包括以下步骤：

4、获取目标车辆右侧车道来车的位置和速度，以右侧车道来车的位置和速度作为连续型强化学习算法的观测空间，利用连续型强化学习算法训练目标车辆的加速度得到加速度模型；所述目标车辆为位于t字交叉口的车辆；

5、获取目标车辆左侧车道来车的位置和速度，以加速度模型作为离散型强化学习算法的动作，右侧车道来车的位置和速度，以及左侧车道来车的位置和速度均作为离散型强化学习算法的观测空间，利用离散型强化学习算法训练出目标车辆的纵向加速度；

6、将目标车辆简化为二自由度车辆模型，利用纯跟踪控制算法计算出目标车辆转向角；

7、将目标车辆的纵向加速度和转向角输入至仿真软件中，通过与环境交互训练得到下一步奖励和状态，训练出用于左转控制的最优多层强化学习模型，利用所述最优多层强化学习模型执行左转控制。

8、本发明还提出了一种自动驾驶汽车t字交叉口左转控制系统，包括：第一训练模块、第二训练模块、计算模块和左转控制模块；

9、所述第一训练模块用于获取目标车辆右侧车道来车的位置和速度，以右侧车道来车的位置和速度作为连续型强化学习算法的观测空间，利用连续型强化学习算法训练目标车辆的加速度得到加速度模型；所述目标车辆为位于t字交叉口的车辆；

10、所述第二训练模块用于获取目标车辆左侧车道来车的位置和速度，以加速度模型作为离散型强化学习算法的动作，右侧车道来车的位置和速度，以及左侧车道来车的位置和速度均作为离散型强化学习算法的观测空间，利用离散型强化学习算法训练出目标车辆的纵向加速度；

11、所述计算模块用于将目标车辆简化为二自由度车辆模型，利用纯跟踪控制算法计算出目标车辆转向角；

12、所述左转控制模块用于将目标车辆的纵向加速度和转向角输入至仿真软件中，通过与环境交互训练得到下一步奖励和状态，训练出用于左转控制的最优多层强化学习模型，利用所述最优多层强化学习模型执行左转控制。

13、本发明还提出了一种自动驾驶汽车t字交叉口左转控制设备，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现一种自动驾驶汽车t字交叉口左转控制方法。

14、技术实现要素：中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

15、本发明提出了一种自动驾驶汽车t字交叉口左转控制方法、系统和设备，属于交通控制技术领域，该方法包括以下步骤：获取目标车辆右侧车道来车的位置和速度，以右侧车道来车的位置和速度作为连续型强化学习算法的观测空间，利用连续型强化学习算法训练目标车辆的加速度得到加速度模型；所述目标车辆为位于t字交叉口的车辆；获取目标车辆左侧车道来车的位置和速度，以加速度模型作为离散型强化学习算法的动作，右侧车道来车的位置和速度，以及左侧车道来车的位置和速度均作为离散型强化学习算法的观测空间，利用离散型强化学习算法训练出目标车辆的纵向加速度；将目标车辆简化为二自由度车辆模型，利用纯跟踪控制算法计算出目标车辆转向角；将目标车辆的纵向加速度和转向角输入至仿真软件中，通过与环境交互训练得到下一步奖励和状态，训练出用于左转控制的最优多层强化学习模型，利用最优多层强化学习模型执行左转控制。基于一种自动驾驶汽车t字交叉口左转控制方法，还提出了一种自动驾驶汽车t字交叉口左转控制系统和设备。本发明用于进行车辆的高级行为决策和纵向加速度规划，预先生成目标车辆左转路径点，减少探索空间，安全高效地完成左转过程。

16、本发明针对t字路口左右侧来车的四种驾驶场景，完成了仿真环境下的验证和测试通过大量实验证明，与单一强化学习算法相比，本发明在保证通行效率的前提下提高了安全性。

技术特征：

1.一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，所述获取目标车辆右侧车道来车的位置和速度包括：

3.根据权利要求1所述的一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，所述以右侧车道来车的位置和速度作为连续型强化学习算法的观测空间，利用连续型强化学习算法训练目标车辆的加速度得到加速度模型的过程包括：构建1x10的观测空间矩阵；其中观测空间矩阵中的10个参数包括：

4.根据权利要求3所述的一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，所述将观测空间矩阵中的参数分别乘以不同的权重矩阵得到的加速度模型的过程包括：

5.根据权利要求1所述的一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，所述获取目标车辆左侧车道来车的位置和速度包括：获取目标车辆左侧车道来车的位置坐标和速度。

6.根据权利要求5所述的一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，所述利用离散型强化学习算法训练出目标车辆的纵向加速度的过程包括：

7.根据权利要求1所述的一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，将目标车辆简化为二自由度车辆模型，利用纯跟踪控制算法计算出目标车辆转向角的过程包括：

8.根据权利要求1所述的一种自动驾驶汽车t字交叉口左转控制方法，其特征在于，所述将目标车辆的纵向加速度和转向角输入至仿真软件中，通过与环境交互信联得到下一步奖励和状态训练出用于左转控制的最优多层强化学习模型，利用所述最优多层强化学习模型执行左转控制的过程包括：

9.一种自动驾驶汽车t字交叉口左转控制系统，其特征在于，包括：第一训练模块、第二训练模块、计算模块和左转控制模块；

10.一种自动驾驶汽车t字交叉口左转控制设备，其特征在于，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1至8任一项所述的一种自动驾驶汽车t字交叉口左转控制方法。

技术总结本发明提出了一种自动驾驶汽车T字交叉口左转控制方法、系统和设备，属于交通控制技术领域，该方法包括：以获取的目标车辆右侧车道来车的位置和速度作为TD3的观测空间，训练目标车辆的加速度得到加速度模型；获取目标车辆左侧车道来车的位置和速度，以加速度模型作为D3QN的动作，两侧车道来车的位置和速度均作为D3QN的观测空间，训练出目标车辆的纵向加速度；计算出目标车辆转向角；将纵向加速度和转向角输入至仿真软件中，通过与环境交互训练出用于左转控制的最优多层强化学习模型，利用该模型执行左转控制。基于该方法，还提出了一种自动驾驶汽车T字交叉口左转控制系统和设备。本发明能够安全高效地完成车辆在T字交叉口的左转。技术研发人员：陈雪梅,吴甲,田奕宏,刘跃泽,肖龙,董宪元,沈晓旭,姚诚达,高丛政受保护的技术使用者：北京理工大学前沿技术研究院技术研发日：技术公布日：2024/7/9