一种基于偏好的拟人化自动驾驶模型设计系统的制作方法

本技术实施例涉及智能交通，特别涉及一种基于偏好的拟人化自动驾驶模型设计系统。

背景技术：

1、随着人工智能和机器学习技术的不断发展，自动驾驶汽车已经成为汽车行业的热点和发展趋势。现有的研究主要针对自动驾驶汽车的控制精度、安全性等问题开展，虽然目前自动驾驶车辆在控制精度和安全性等方面具有较大的进展，但忽略了不同乘客对自动驾驶汽车的个性化舒适性需求。乘客作为车辆的最终用户，其主观感受对于自动驾驶汽车的安全性、舒适性等评价至关重要，成为决定自动驾驶汽车能否被广泛接受的关键因素。个性化驾驶员模型的发展代表了自动驾驶技术领域的一项重要进展。它将使汽车更加智能化、人性化，更好地满足用户的需求，提高驾驶体验的质量，推动自动驾驶汽车的广泛应用。

2、随着机器视觉和激光雷达等感知技术的不断进步，自动驾驶车辆能够更加准确地感知周围环境，包括道路状况、交通流等，为个性化驾驶员模型提供了丰富的信息。鸟瞰图(bev)感知技术能够实时获取并更新环境数据。这意味着模型可以随着时间的推移不断获取新的数据，以更准确地了解周围环境的变化，为个性化驾驶员模型提供了更多的感知数据和决策支持，使驾驶员模型能够更好地适应不同用户的需求和偏好。

3、目前，现有技术中建立的驾驶员模型都是基于理想条件下的决策，没有与环境建立实时性的交互，驾驶决策时也没有考虑邻近车辆的状态，导致得出的驾驶员模型缺乏泛化性。而且，现有技术中建立的个性化驾驶员模型主要用来评价驾驶员模型的激进程度或者用来生成驾驶员模型的测试场景，在实际应用中的驾驶员模型，对于驾驶员的个性化特征考虑都相对较少。

技术实现思路

1、本技术实施例提供一种基于偏好的拟人化自动驾驶模型设计系统，解决现有的自动驾驶模型偏向于同质化，无法提供不同偏好驾驶风格的技术问题。

2、为解决上述技术问题，本技术实施例提供一种基于偏好的拟人化自动驾驶模型设计系统，包括：依次连接的鸟瞰图感知模块、深度强化学习模块以及模型训练模块；其中，鸟瞰图感知模块包括鸟瞰图转化单元，以自动驾驶车辆信息作为鸟瞰图感知模块的输入，通过鸟瞰图转化单元将自动驾驶车辆信息转化为鸟瞰图，并得到自动驾驶车辆周围的环境状态信息；其中，自动驾驶车辆信息通过采集模块获取；深度强化学习模块包括映射单元，以鸟瞰图作为深度强化学习模块的输入，通过映射单元将鸟瞰图的特征映射到底层的连续动作，生成驾驶员模型；模型训练模块包括动作偏好设置模块、训练模块以及动作选择器；动作偏好设置模块通过设定不同的动作偏好来表示不同驾驶员的驾驶风格；训练模块根据不同的驾驶风格，对驾驶员模型进行训练，生成多个备选动作；动作选择器通过选择与设定的动作偏好接近的备选动作作为最终动作，得到基于偏好的拟人化驾驶员模型。

3、在一些示例性实施例中，采集模块包括多个传感器；传感器包括多个相机和雷达；自动驾驶车辆信息包括相机图像和雷达图像。

4、在一些示例性实施例中，鸟瞰图感知模块包括bev特征生成模块和特征融合模块；bev特征生成模块包括相机端的bev特征生成模块和雷达端的bev特征生成模块；相机端的bev特征生成模块用于采用鸟瞰图感知方法，并基于相机图像生成bev特征，得到相机端的bev特征；雷达端的bev特征生成模块用于采用3d卷积从所述雷达图像中提取bev特征，得到雷达端的bev特征；特征融合模块用于将所述相机端的bev特征与所述雷达端的bev特征进行融合，得到鸟瞰图。

5、在一些示例性实施例中，环境状态信息包括：前后车的距离和车速、相邻车道的车辆距离和速度以及判定是否具有超车条件的状态信息；其中，是否具有超车条件通过车辆的加速度来判定；所述车辆的加速度通过车速和距离计算获取。

6、在一些示例性实施例中，深度强化学习模块包括映射连接模块和输出模块；映射连接模块用于采用基于偏好选择的深度强化学习方法，将所述鸟瞰图和自动驾驶车辆底层控制映射连接；输出模块用于以所述鸟瞰图作为卷积神经网络的输入，采用卷积神经网络对所述鸟瞰图进行特征提取，经过全连接层，最终输出底层的连续动作，生成驾驶员模型。

7、在一些示例性实施例中，动作偏好包括：激进型动作、普通型动作和保守型动作；驾驶风格包括：激进型风格、普通型风格和保守型风格；动作偏好与所述驾驶风格一一对应。

8、在一些示例性实施例中，模型训练模块还包括：与所述训练模块相连接的驾驶风格分类模块；驾驶风格分类模块用于根据驾驶的碰撞风险对驾驶风格进行分类，得到不同驾驶员的驾驶风格，并将不同的驾驶风格输出至所述训练模块。

9、在一些示例性实施例中，碰撞风险的表达式为：

10、

11、其中，f为碰撞风险，v为目标车辆速度，v为减速目标速度，δv为目标车辆与前车的速度差，d为安全最小距离，t为驾驶员响应时间，d为目标车辆与前车的距离；当f＝1时，驾驶员风格为普通型；当f<1时，驾驶员风格为保守型；当f>1时，驾驶员风格为激进型。

12、在一些示例性实施例中，动作选择器用于执行拟人化操作，所述拟人化操作包括：保持车道、变道和超车动作；其中，在动作选择时，根据当前车道碰撞风险公式进行动作选择。

13、在一些示例性实施例中，深度强化学习模块还包括：车辆轨迹选择模块；所述车辆轨迹选择模块用于在将所述鸟瞰图映射到底层的连续动作时，同时生成多条轨迹，基于相邻车道的碰撞风险，选择车辆轨迹；车辆轨迹包括：保持车道、变道以及优先选择变换的车道；相邻车道的碰撞风险的表达式为：

14、

15、其中，fp为碰撞风险，v为目标车辆速度，v为减速目标速度，δv为目标车辆与前车的速度差，d为安全最小距离，t为驾驶员响应时间，d为目标车辆与前车的距离；tp为驾驶员换道响应时间，所述换道响应时间为从驾驶员反应换道到换道完成的时间。

16、本技术实施例提供的技术方案至少具有以下优点：

17、本技术实施例提供一种基于偏好的拟人化自动驾驶模型设计系统，包括：依次连接的鸟瞰图感知模块、深度强化学习模块以及模型训练模块；其中，鸟瞰图感知模块包括鸟瞰图转化单元，以自动驾驶车辆信息作为鸟瞰图感知模块的输入，通过鸟瞰图转化单元将自动驾驶车辆信息转化为鸟瞰图，并得到自动驾驶车辆周围的环境状态信息；其中，自动驾驶车辆信息通过采集模块获取；深度强化学习模块包括映射单元，以鸟瞰图作为深度强化学习模块的输入，通过映射单元将鸟瞰图的特征映射到底层的连续动作，生成驾驶员模型；模型训练模块包括动作偏好设置模块、训练模块以及动作选择器；动作偏好设置模块通过设定不同的动作偏好来表示不同驾驶员的驾驶风格；训练模块根据不同的驾驶风格，对驾驶员模型进行训练，生成多个备选动作；动作选择器通过选择与设定的动作偏好接近的备选动作作为最终动作，得到基于偏好的拟人化驾驶员模型。

18、本技术实施例主要解决现有的自动驾驶模型偏向于同质化，无法提供不同偏好驾驶风格的技术问题。本技术提出基于偏好的拟人化驾驶员模型训练框架，使用分层思想，可以把多传感器高维数据通过融合方法降低，再与低维的连续动作进行映射对应，有利于提高模型训练速度，并更容易收敛并提高模型的泛化能力。本技术还提出一组用于描述驾驶员风格的偏好动作，使模型在训练过程中有参考，训练出来的模型更加拟人化，更加趋向于不同驾驶员的驾驶风格。设计一个动作选择器，用来评判模型选择动作，使得选择的动作更加合理。本技术旨在通过鸟瞰图(bev)感知技术和偏好强化学习，学习人类驾驶员的不同个性驾驶特征，生成基于偏好的拟人化驾驶员模型，包括激进型驾驶员模型、保守型驾驶员模型、普通型驾驶员模型。不同驾驶风格的乘客可以选择合适的驾驶员模型，有效提高自动驾驶车辆的驾乘风格接受度和乘坐舒适度。