基于视觉语义分割和轨迹指引的端到端运动规划方法及系统

本发明涉及一种基于视觉语义分割和轨迹指引的端到端运动规划方法及系统，属于运动规划。

背景技术：

1、感知周围环境并提取可以实现安全、舒适驾驶有效的特征，对于基于条件模仿学习的端到端自动驾驶具有重要意义。基于视觉传感器的环境感知通常分为两类：1)直接提取图像特征作为运动规划模块的输入。2)通过图像特征生成局部地图，在局部地图上完成基于传统方法或者深度学习方法的运动规划。

2、直接提取视觉图像特征进行运动规划实现相对简单，不需要复杂的检测、分割算法的设计，同时网络模型的推理速度较快，实时性更强。早期的自动驾驶方法alvinn即通过浅层的全连接神经网络提取图像特征以生成最终车辆的控制量。基于条件模仿学习的经典方法cil中以车辆前方三个单目相机获取的图像作为输入，使用深层次的卷积神经网络提取图像特征，并通过分支决策网络进行车辆控制量的预测。为更有效的提取有利于自动驾驶的感知特征、增强自动驾驶模型的表现能力，cilrs方法使用残差神经网络resnet18提取图像特征，进行最终的运动规划。最近提出的tcp方法只使用车辆前方的单个相机作为输入，使用更深层次的resnet34作为特征编码网络。尽管直接提取图像特征的感知技术实现简单高效，但由于缺乏全局环境感知，在复杂的交通场景下容易失败，同时对于问题的定位很困难。

3、语义鸟瞰图感知为端到端运动规划网络提供了全局环境信息，增加网络的可解释性，提高自动驾驶网络问题定位的效率。lbc方法使用语义地图训练特权网络以指导自动驾驶网络的预测。lbw方法在鸟瞰图感知的基础上预测周围车辆的运动，取得了不错的效果。lss方法通过深度预测网络预测单目图像的深度信息，通过特征投影生成语义鸟瞰图，并通过传统的规划方法完成自动驾驶任务。

4、上述方法独立的使用相同尺度的特征，以简化运动规划模块的网络设计和训练，但由于缺乏不同尺度下感知特征的融合，在测试时仍存在任务失败等不可预料的问题，可见，为解决该技术问题，亟需一种基于视觉语义分割和轨迹指引的端到端运动规划方法及系统。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种基于视觉语义分割和轨迹指引的端到端运动规划方法及系统，在感知模块融合全局地图感知和视觉局部感知的基础上，通过预测分支模块实现了不同尺度下的特征融合，以针对不同尺度特征，融合控制预测与轨迹规划方法，使轨迹指导多步控制量的生成。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种基于视觉语义分割和轨迹指引的端到端运动规划方法，包括：

4、获取目标对象的图像信息和测量向量；

5、将所述图像信息和测量信息输入至运动规划模型，获得运动规划模型输出的目标控制指令；

6、其中，所述运动规划模型包括感知模块、道路分割模块、轨迹分支模块、预测分支模块和指令生成模块；

7、所述感知模块用于提取图像信息中的视觉特征和鸟瞰特征；

8、所述道路分割模块用于通过语义分割获得图像信息的掩码特征；

9、所述轨迹分支模块用于将测量向量与鸟瞰特征拼接后通过序列处理获得未来运动轨迹，并根据运动轨迹确定第一运动指令；

10、所述预测分支模块用于根据未来运动轨迹与图像信息进行尺度匹配获得轨迹特征，并根据轨迹特征、掩码特征和视觉特征通过序列处理生成第二运动指令；

11、所述指令生成模块用于根据预设的权重因子选择第一运动指令或第二运动指令作为目标控制指令。

12、进一步的，所述图像信息包括环绕视觉图像和相机的内外参数矩阵，所述测量向量包括目标对象的速度、目标点和条件分支指令。

13、进一步的，通过语义分割获得图像信息的掩码特征，包括：

14、获取环绕视觉图像中的前视图像；

15、提取前视图像在不同尺度上的特征，并进行特征融合得到融合特征；

16、对融合特征进行连续上采样处理，得到路面和行道线掩码；

17、对路面和行道线掩码进行降采样处理，得到掩码特征。

18、进一步的，将测量向量与鸟瞰特征拼接后通过序列处理获得未来运动轨迹，并根据运动轨迹确定第一运动指令，包括：

19、对测量向量通过编码处理获得测量特征；

20、将测量特征与鸟瞰特征拼接后得到隐层特征，将隐层特征输入gru单元进行轨迹规划，逐个生成未来k个时刻的路点，其中，每个gru单元的输入为当前时刻的隐层特征和上一时刻预测的路点；

21、将得到的所有路点作为未来运动轨迹；

22、通过pid控制器将未来运动轨迹转换为第一运动指令。

23、进一步的，根据未来运动轨迹与图像信息进行尺度匹配获得轨迹特征，并根据轨迹特征、掩码特征和视觉特征通过序列处理生成第二运动指令，包括：

24、根据相机的内外参数将未来运动轨迹转换至前视图像的像素坐标系中，得到与前视图像尺度相同的轨迹图，经过编码后生成轨迹特征；

25、将轨迹特征、掩码特征和视觉特征拼接后得到输入特征，将输入特征和当前时刻预测的路点输入gru单元，逐个生成未来k个时刻的控制指令；

26、将得到的所有控制指令作为第二运动指令。

27、进一步的，提取图像信息中的视觉特征和鸟瞰特征，包括：

28、提取图像信息中的视觉特征；

29、根据获得的视觉特征，结合相机的内外参数通过降采样操作进行特征投影，得到投影后的栅格地图；

30、将得到的栅格地图进行编码处理，得到鸟瞰特征。

31、第二方面，本发明提供了一种基于视觉语义分割和轨迹指引的端到端运动规划系统，其特征在于，包括：

32、获取模块：用于获取目标对象的图像信息和测量向量；

33、规划模块：用于将所述图像信息和测量信息输入至运动规划模型，获得运动规划模型输出的目标控制指令；

34、其中，所述运动规划模型包括感知模块、道路分割模块、轨迹分支模块、预测分支模块和指令生成模块；所述感知模块用于提取图像信息中的视觉特征和鸟瞰特征；所述道路分割模块用于通过语义分割获得图像信息的掩码特征；所述轨迹分支模块用于将测量向量与鸟瞰特征拼接后通过序列处理获得未来运动轨迹，并根据运动轨迹确定第一运动指令；所述预测分支模块用于根据未来运动轨迹与图像信息进行尺度匹配获得轨迹特征，并根据轨迹特征、掩码特征和视觉特征通过序列处理生成第二运动指令；所述指令生成模块用于根据预设的权重因子选择第一运动指令或第二运动指令作为目标控制指令。

35、第三方面，本发明提供了一种计算机设备，包括处理器及存储介质；

36、所述存储介质用于存储指令；

37、所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。

38、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面所述方法的步骤。

39、与现有技术相比，本发明所达到的有益效果：

40、本发明提供的基于视觉语义分割和轨迹指引的端到端运动规划方法及系统，在感知模块融合全局地图感知和视觉局部感知的基础上，通过预测分支模块实现了不同尺度下的特征融合，以针对不同尺度特征，融合控制预测与轨迹规划方法，使轨迹指导多步控制量的生成。