支持部分可观测的智能驾驶平台仿真器及观测处理方法

技术特征：
1.一种支持部分可观测的智能驾驶平台仿真器，其特征在于，所述智能驾驶平台仿真器包括三个部分：第一部分，自车模型，所述自车模型向深度强化学习算法提供控制接口：刹车、油门以及方向盘的转角；第二部分，环境车辆模型及行人模型，所述环境车辆模型及行人模型的决策规划算法只是简单的线性规划或者根据专家知识设计的规则，环境车辆模型及行人模型都属于社会车辆模型；第三部分，道路模型，所述道路模型用于描述仿真场景中道路形状。2.根据权利要求1所述的支持部分可观测的智能驾驶平台仿真器，其特征在于，所述道路模型用于描述仿真场景中道路形状，包括道路是否为双车道，每个方向上包含几个车道，某些车道上是否有斑马线以及红绿灯。3.根据权利要求1所述的支持部分可观测的智能驾驶平台仿真器，其特征在于，所述自车模型用于向深度强化学习算法提供控制接口：刹车、油门以及方向盘的转角的控制接口，使深度强化学习算法控制自车模型的刹车、油门以及方向盘；智能驾驶平台仿真器将刹车信号和油门信号这两个控制量映射在0到1之间，0表示没有控制量，1表示控制量达到最大，刹车控制量为0表明强化学习算法没有进行任何减速操作，油门控制量为1表明强化学习算法此时要求达到最大加速度，方向盘转角则映射为-1至 1，对应方向盘的从最左映射到最右；强化学习策略通过学习控制量对自车模型进行控制。4.根据权利要求1所述的支持部分可观测的智能驾驶平台仿真器，其特征在于，所述智能驾驶平台仿真器通过sumo仿真器实现，智能驾驶平台仿真器使用sumo仿真平台作为服务器端，通过创建多进程，每个进程创建一个具体的仿真实例与服务器端进行通信。5.根据权利要求1所述的支持部分可观测的智能驾驶平台仿真器，其特征在于，所述社会车辆模型的规划算法可以为线性规划方法，也可以根据专家的先验知识对社会车辆的行为进行设定；通过设定道路上的车流量进而对环境中社会车辆的密度进行调控，并且可以手动设定某种车辆模型的物理长度属性，以及在多种车流量下分配每种环境车辆模型的占比；通过设定人行道上的行人流量对环境行人模型的密度进行调控。6.一种用于智能驾驶平台仿真器的观测处理方法，其特征在于，对自车模型的完全可观测的观测数据进行部分可观测的处理，即将第三视角中自车无法观测到的社会车辆进行剔除；自车模型的完全可观测的观测输入为纯图像或者为矢量数据；其中，纯图像输入是以自车模型为中心的俯瞰视角图，而矢量数据输入是以自车模型为中心离散化处理过的特征向量；所述离散化处理是指针对俯瞰视角图，以自车模型为中心设定以预设长度为半径、预设角度为扇形角的扇形区域，通过对扇形区域里的每个社会车辆模型进行扫描检测，保留每条扫描线扫到的第一个社会车辆模型，然后将每条扫描线扫描的结果记录在相应的离散化矩阵，然后将矩阵展开化为向量，即可得到期望的矢量数据；对纯图像输入或者矢量数据输入进行部分可观测处理；在对俯瞰视角图进行离散化处理的阶段，已经保留了每条扫描线扫描到的第一个社会车辆模型，因此离散化后的特征向量也即矢量数据数据就是经过部分可观测处理后的矢量数据。
7.根据权利要求6所述的用于智能驾驶平台仿真器的观测处理方法，其特征在于，对于图像输入的俯瞰视角图，部分可观测处理则在离散化处理的机制上要增加一个步骤，保留每条扫描线扫描到的社会车辆模型的id，然后将当前时刻保留下来的所有id返回给底层智能驾驶平台仿真器，由智能驾驶平台仿真器根据筛选出的id进行渲染，渲染出的图片即为经过部分可观测处理后的俯瞰视角图。8.根据权利要求7所述的用于智能驾驶平台仿真器的观测处理方法，其特征在于，如果智能驾驶平台仿真器不支持针对性渲染，直接在原图片中将没有被筛选到的车辆或行人进行替换，可替换为道路或其他。9.一种基于注意力机制的针对部分可观测数据的处理方法，其特征在于：针对部分可观测处理后的俯瞰视角图或矢量数据，基于注意力机制的观测处理方法会对其进行处理，使智能驾驶平台仿真器能够重点关注部分可观测下的重要区域，帮助强化学习算法更高效地学习，处理后输出的低维观测表征再交给强化学习算法进行处理；通过多头注意力模块完成，将部分可观测处理后的俯瞰视角图或矢量数据输入后，多头注意力模块会对输入中的每个部分进行打分，然后打出的分数与原输入拼接后一起通过神经网络的全连接层，最后输出的就是为应对部分可观测数据输入的基于注意力机制的观测处理模块的输出。

技术总结
本发明公开一种支持部分可观测的智能驾驶平台仿真器。并基于智能驾驶平台仿真器提供了一种基于注意力机制的针对部分可观测数据的处理方法，使智能驾驶平台仿真器能够重点关注部分可观测下的重要区域。注部分可观测下的重要区域。注部分可观测下的重要区域。


技术研发人员：陈越
受保护的技术使用者：南京大学
技术研发日：2022.03.29
技术公布日：2022/7/12