一种基于类脑感知的智能驾驶方法及相关设备与流程

本申请属于智能车辆研究，尤其涉及一种基于类脑感知的智能驾驶方法及相关设备。

背景技术：

1、智能驾驶技术是指智能汽车通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标，其技术体系一般包括环境感知、决策规划和车辆控制三大部分，涉及计算机、数学、机械、控制科学、心理学等多个研究领域。

2、当前的智能汽车自动驾驶技术仍然存在需要突破的技术难题，其中的技术挑战主要包括复杂动态路况下多模态融合的主动安全感知和决策两个问题。城市动态路况具有高动态、非平稳、强不确定性等特点，驾驶场景的高效精确感知往往涉及车载多传感器数据。一个稳定且可靠的智能驾驶系统必须准确地感知到智能车周边的不同目标(如车辆、行人等)以便做出合理的决策来规避潜在的交通风险，进而保证智能车的行车安全。然而，基于深度学习的“黑盒子”模型存在可解释性不足的问题，这极大地限制了各类感知和决策方法的可信度和在实际工程中的推广应用。

技术实现思路

1、本申请提供了一种基于类脑感知的智能驾驶方法及相关设备，可以解决传统智能驾驶方法可解释性不足的问题。

2、第一方面，本申请提供了一种基于类脑感知的智能驾驶方法，包括：

3、分别获取目标车辆的鸟瞰图和用于描述目标车辆状态的测量向量，并对鸟瞰图进行语义划分，得到多通道灰度图；多通道灰度图中的每个通道至少包括一个灰度图，不同通道对应的灰度图互不相同；

4、采集人脑对多通道灰度图的刺激响应；

5、分别构建用于提取目标车辆的环境特征的类脑感知网络和用于生成目标车辆的驾驶决策的类脑决策网络；其中，类脑感知网络包括用于提取感知对象的静态特征的类脑视觉感知模块、用于提取感知对象的动态特征的类脑运动感知模块以及用于提取感知对象的其他特征的类脑多模态感知模块，类脑决策网络包括用于生成驾驶决策的决策生成模块以及用于对生成的驾驶决策进行评估的决策评估模块，驾驶决策包括目标车辆的多个驾驶动作；

6、根据刺激响应，将类脑感知网络和类脑决策网络与人脑进行对齐，得到对齐后的类脑感知网络和对齐后的类脑决策网络；

7、将多通道灰度图和测量向量输入对齐后的类脑感知网络，得到目标车辆的环境特征；

8、将环境特征输入对齐后的类脑决策网络，得到目标车辆的驾驶决策；驾驶决策包括目标车辆的多个驾驶动作；

9、分别计算每个驾驶动作对应的评价分数，并根据最高评价分数对应驾驶动作，控制目标车辆的行驶，实现智能驾驶。

10、可选的，测量向量包括方向盘转动向量、油门向量、刹车向量、档位向量、横向速度向量以及纵向速度向量；

11、多通道灰度图包括驾驶区域灰度图、驾驶路线灰度图、车道边界灰度图、车辆灰度图、行人灰度图以及交通灯灰度图。

12、可选的，类脑视觉感知模块对应人脑中的人脑腹侧通路，类脑运动感知模块对应人脑中的人脑背侧通路，类脑多模态感知模块对应人脑中的上丘部分；

13、决策生成模块对应人脑中的眶额皮层和背侧前额叶皮层，决策评估模块对应人脑中的腹侧前额叶皮层。

14、可选的，根据刺激响应，将类脑感知网络和类脑决策网络与人脑进行对齐，得到对齐后的类脑感知网络和对齐后的类脑决策网络，包括：

15、步骤i，通过计算公式

16、

17、得到类脑网络输出yi与刺激响应xi之间的相似度r，i表示数据点的索引，n表示样本的总数量；其中，类脑网络为类脑感知网络和类脑决策网络两者中的任一者；

18、步骤ii，收集人脑活动的数据，使用功能性磁共振成像神经影像技术，这些数据提供了关于大脑区域激活的信息，对从人脑中获取的数据进行预处理和分析，包括去噪、空间对齐、脑区域的识别等步骤，从人脑数据中提取特征，以便理解哪些大脑区域与感知相关；收集人脑参与决策任务时的行为数据和相应的脑活动数据，对人脑决策数据进行预处理和分析，以理解决策的神经基础，从人脑决策数据中提取特征，以便理解哪些大脑区域与决策过程相关；

19、步骤iii，通过计算公式

20、

21、

22、

23、

24、

25、得到类脑决策网络更新后的网络参数θk+1，得到更新后的类脑决策网络；其中，lppo表示裁剪策略的梯度损失，即使用广义优势估计调整策略的梯度损失，对应人脑中多巴胺奖励信号的梯度，表示当前类脑决策网络生成的驾驶决策τ，e表示驾驶决策对应的期望值，是不同策略网络驾驶决策的加权平均，ω是对应驾驶决策的权重，lent表示最大熵损失，用于描述人脑中奖励系统的探索性行为，λent表示用于控制最大熵损失的权重参数，h表示策略的熵，lexp表示探索损失，对应人脑中调节探索性行为的机制，λexp表示用于调整探索损失权重的超参数，t表示驾驶决策对应的轨迹长度，n表示用于控制探索损失的最后nz时间步，(k)表示驾驶决策的最后nz时间步内时间步k上的返回值，(k)∈{0，1}，pz表示预先定义的探索先验，即在强化学习任务中对于探索行为的一种先验知识或先验偏好，用于引导目标车辆的行为，irl表示鸟瞰图的语义化分向量，mrl表示测量向量；

26、步骤iv，返回执行步骤ii，直至相似度大于预设相似度阈值，得到对齐后的类脑感知网络和对齐后的类脑决策网络。

27、可选的，评价分数的计算公式为：

28、s＝r1μ+r2λ

29、其中r1和r2分别表示激活相似性和输出行为相似性，μ和λ为对应的权值。

30、第二方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的智能驾驶方法。

31、第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的智能驾驶方法。

32、本申请的上述方案有如下的有益效果：

33、本申请提供的基于类脑感知的智能驾驶方法，通过构建用于提取目标车辆的环境特征的类脑感知网络和用于生成目标车辆的驾驶决策的类脑决策网络，并基于人脑的刺激响应，将类脑感知网络和类脑决策网络与人脑进行对齐，能够使后续生成的驾驶策略更加符合人脑的思维逻辑，有利于增强智能驾驶方法的可解释性。

34、本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种基于类脑感知的智能驾驶方法，其特征在于，包括：

2.根据权利要求1所述的智能驾驶方法，其特征在于，所述测量向量包括方向盘转动向量、油门向量、刹车向量、档位向量、横向速度向量以及纵向速度向量；

3.根据权利要求1所述的智能驾驶方法，其特征在于，所述类脑视觉感知模块对应人脑中的人脑腹侧通路，所述类脑运动感知模块对应人脑中的人脑背侧通路，所述类脑多模态感知模块对应人脑中的上丘部分；

4.根据权利要求1所述的智能驾驶方法，其特征在于，所述根据所述刺激响应，将所述类脑感知网络和所述类脑决策网络与人脑进行对齐，得到对齐后的类脑感知网络和对齐后的类脑决策网络，包括：

5.根据权利要求1所述的智能驾驶方法，其特征在于，所述评价分数的计算公式为：

6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的智能驾驶方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的智能驾驶方法。

技术总结本申请适用于智能车辆研究技术领域，提供了一种基于类脑感知的智能驾驶方法及相关设备。包括分别获取目标车辆的鸟瞰图和测量向量，并对鸟瞰图进行语义划分，得到多通道灰度图；采集人脑对多通道灰度图的刺激响应；分别构建类脑感知网络和类脑决策网络；根据刺激响应，将类脑感知网络和类脑决策网络与人脑进行对齐；将多通道灰度图和测量向量输入对齐后的类脑感知网络，得到目标车辆的环境特征；将环境特征输入对齐后的类脑决策网络，得到目标车辆的驾驶决策；驾驶决策包括目标车辆的多个驾驶动作；分别计算每个驾驶动作对应的评价分数，并根据最高评价分数对应驾驶动作，控制目标车辆的行驶，实现智能驾驶。本申请能提高智能驾驶方法的可解释性。技术研发人员：王海东,肖鹏飞,张建华,单洽受保护的技术使用者：湘江实验室技术研发日：技术公布日：2024/7/29