一种端到端自动驾驶方法、系统、设备及介质

本发明涉及自动驾驶，特别是涉及一种端到端自动驾驶方法、系统、设备及介质。

背景技术：

1、自动驾驶技术的兴起在提升交通系统安全性和效率方面具有深刻意义；当前，交通事故中人为错误的占比较大，成为导致事故发生的主要原因之一。为了解决这一问题，自动驾驶系统被引入，有望通过消除人为因素，显著降低事故的可能性，然而，当前自动驾驶系统在复杂城市环境中仍面临诸多挑战。

2、在自动驾驶系统的传统模块化设计方式，例如将系统划分为感知、规划和控制等多个模块，存在模块之间信息传递不畅、调优复杂等问题。为了克服这些问题，通常选择采用端到端学习方法，直接从传感器数据到车辆控制指令的端到端映射，以简化系统结构。

3、现有的端到端自动驾驶方法主要包括：基于深度学习的端到端自动驾驶方法、基于强化学习的端到端自动驾驶方法、基于迁移学习的端到端自动驾驶方法、基于集成多模态信息的端到端自动驾驶方法和基于分级结构的端到端自动驾驶方法。

4、基于深度学习的端到端自动驾驶方法以其能够直接从原始传感器数据中学习特征的特点而备受关注，这种方法无需依赖手工设计的特征，从而减少了对专业领域知识的依赖；然而，这类方法对大规模标注数据的需求较大，且由于深度神经网络的复杂性，模型的解释性和调试性可能受到限制。

5、基于强化学习的端到端自动驾驶方法引入了智能体与环境的交互，通过不断试错来学习最优的驾驶策略，这种方法能够适应不同的驾驶场景，但与此同时，训练过程相对较慢，而且强化学习的稳定性和收敛性仍然是当前研究中需要解决的难题。

6、基于迁移学习的端到端自动驾驶方法通过在一个任务上学到的知识来提高在另一个相关任务上的性能，这在一定程度上增强了系统的通用性，但在源任务和目标任务之间存在领域差异时，迁移效果可能会减弱，需要仔细考虑领域适应性问题。

7、基于集成多模态信息的端到端自动驾驶方法通过融合来自不同传感器的数据，以增强系统对环境的感知能力，这种方法通过克服单一传感器的局限性，提高了系统的整体鲁棒性。然而，数据融合可能引入额外的计算复杂性，需要有效的融合策略和处理机制。

8、基于分级结构的端到端自动驾驶方法通过将决策任务分解为不同层次，以降低系统的整体复杂性，这种结构允许对各个任务进行更有针对性的优化，但需要精心设计合适的层次结构，且其性能高度依赖于任务分解的合理性。

9、可见，现有技术有待进一步提升。

技术实现思路

1、本发明提供一种端到端自动驾驶方法、系统、设备及介质，解决如何提高端到端自动驾驶感知与决策的精度、速度和实时性的问题。

2、为解决上述技术问题，本发明第一方面提供一种端到端自动驾驶方法，包括：

3、获取车辆所处驾驶环境的雷达点云数据和rgb图像并融合，得到所述驾驶环境对应的鸟瞰图特征；

4、设置多任务对所述鸟瞰图特征进行深层特征提取，得到所述驾驶环境对应的路径信息代理特征向量和地图信息代理特征向量；

5、根据所述路径信息代理特征向量和地图信息代理特征向量对所述车辆的未来轨迹点进行预测并优化，得到所述车辆的预测驾驶路线。

6、进一步地，所述获取车辆所处驾驶环境的雷达点云数据和rgb图像并融合，得到所述驾驶环境对应的鸟瞰图特征，包括：

7、根据雷达和摄像头的参数标定矩阵，构建雷达点云数据到rgb图像所属平面的坐标转换矩阵，并根据所述坐标转换矩阵对所述雷达点云数据进行坐标转换，得到融合所述驾驶环境语义信息的雷达点云数据特征；

8、将所述rgb图像输入至erfnet模型进行驾驶环境语义分割，得到多通道驾驶环境语义图；

9、将所述多通道驾驶环境语义图融入所述雷达点云数据特征中，得到点云融合特征；

10、通过pointpillars模型设置点柱，并对每个点柱中的所述点云融合特征进行特征提取，得到所述驾驶环境对应的鸟瞰图特征。

11、进一步地，所述通过pointpillars模型设置点柱，并对每个点柱中的所述点云融合特征进行特征提取，得到所述驾驶环境对应的鸟瞰图特征，包括：

12、设置所述点云融合特征的有效范围，并通过pointpillars模型将所述点云融合特征的有效范围划分为若干个点柱；

13、在点柱内对所述点云融合特征进行预处理，并对每个点柱中的所述点云融合特征添加位置信息特征；

14、选取符合预设条件的点柱并计算所含点云融合特征的重心坐标偏差特征和几何中心偏差特征，得到所选点柱的全局点云特征；

15、根据所选点柱的原始平面坐标将点柱进行归位，以使所述全局点云特征转化为伪图像特征；

16、通过多尺度特征融合法对所述伪图像特征进行特征提取，得到所述鸟瞰图特征。

17、进一步地，所述多任务包括目标检测任务；其中，所述设置多任务对所述鸟瞰图特征进行深层特征提取，包括：

18、将所述驾驶环境中的行人和车辆作为动态目标；

19、根据所述动态目标的位置信息在所述鸟瞰图特征所属平面上创建对应的高斯核区域，并将所述动态目标的类别、尺寸和朝向信息嵌入所述高斯核区域中，得到所述动态目标在所述鸟瞰图特征中的二维坐标、尺寸和朝向；

20、将所述动态目标在所述鸟瞰图特征中的二维坐标、尺寸和朝向分别输入至目标概率检测头、目标尺寸检测头和目标朝向检测头进行处理，得到动态目标特征、目标尺寸特征和目标朝向特征；

21、通过交叉熵损失函数对所述动态目标特征进行优化，通过f1损失函数对所述尺寸特征和目标朝向特征进行优化，并将优化结果组合得到路径信息特征图。

22、进一步地，所述多任务还包括语义分割任务；其中，所述设置多任务对所述鸟瞰图特征进行深层特征提取，包括：

23、通过道路语义分割头对所述鸟瞰图特征中的道路结构进行语义分割，得到语义分割图；所述语义分割图包括可行驶区域和车道线；

24、通过所述交叉熵损失函数对所述语义分割图进行优化，得到地图信息特征图。

25、进一步地，所述设置多任务对所述鸟瞰图特征进行深层特征提取之后，还包括：

26、将所述路径信息特征图输入至motformer模型进行深层特征提取，得到所述路径信息代理特征向量；

27、将所述地图信息特征图输入至mapformer模型进行深层特征提取，得到所述地图信息代理特征向量。

28、进一步地，所述根据所述路径信息代理特征向量和地图信息代理特征向量对所述车辆的未来轨迹点进行预测并优化，得到所述车辆的预测驾驶路线，包括：

29、将所述路径信息代理特征向量和地图信息代理特征向量输入至trajectorytransformer模型，以所述车辆所在场景为中心进行预测，得到若干个所述车辆的未来轨迹点；

30、基于所述车辆的目标行驶路线中的航路点对所述未来轨迹点进行优化，并将优化后的所述未来轨迹点组合，得到所述车辆的预测驾驶路线。

31、本发明第二方面提供一种端到端自动驾驶系统，包括：

32、雷视融合模块，用于获取车辆所处驾驶环境的雷达点云数据和rgb图像并融合，得到所述驾驶环境对应的鸟瞰图特征；

33、特征提取模块，用于设置多任务对所述鸟瞰图特征进行深层特征提取，得到所述驾驶环境对应的路径信息代理特征向量和地图信息代理特征向量；

34、路线预测模块，用于根据所述路径信息代理特征向量和地图信息代理特征向量对所述车辆的未来轨迹点进行预测并优化，得到所述车辆的预测驾驶路线。

35、本发明第三方面提供一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任意一项所述的端到端自动驾驶方法。

36、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述第一方面中任意一项所述的端到端自动驾驶方法。

37、与现有技术相比，本发明实施例的有益效果在于：

38、(1)精度高。本发明在自动驾驶中采用了雷达和视觉信息的融合方案，从而提高了系统的感知精度，且通过综合利用雷达和视觉数据，系统能够更准确地感知周围环境，有助于提高车辆对于道路、障碍物以及其他交通参与者的识别和理解能力。相较于单一传感器的方案，本技术所提出的融合策略能够为自动驾驶系统提供更为准确和全面的感知信息，从而提升整体驾驶精度。

39、(2)鲁棒性强。本发明在自动驾驶中充分融合了地图与路径信息，使得系统更具鲁棒性；通过将感知过程中获取的实时数据与先前建立的地图和路径信息相结合，系统能够更好地理解车辆所处的环境和行驶路径，且提供了更全面的场景认知，使得车辆能够更可靠地做出决策和规划行驶路线，提高了系统在各种复杂驾驶场景下的鲁棒性和安全性。

40、(3)参数量少，实时性好。本发明在自动驾驶中采用了轻量化模型和充分利用先验信息的策略，从而显著减少了系统的参数量，提高了实时性。通过使用轻量化模型，系统在进行复杂计算时所需的资源较少，使得在实时场景中更加高效。同时，充分利用先验信息也帮助系统更准确地进行推理和决策，减少了对大量参数的依赖。本技术所提出的参数量少、实时性好的设计使得自动驾驶系统更适用于实际驾驶情境，提升了系统的性能和响应速度。