自主驾驶的方法及系统与流程

1.本公开涉及自主驾驶的方法及系统。


背景技术：

2.自主驾驶是指不需要驾驶人员提供导引和控制，在计算装置的控制下使车辆完成车道保持、超车并道、红灯停绿灯行、灯语笛语交互、避障、转弯等驾驶行为。本公开所称自主驾驶，包括车辆的非完全自主驾驶(帮助驾驶人员进行驾驶)和完全自主驾驶(完全取代驾驶人员进行驾驶)。
3.目前，自主驾驶的路径规划主要依靠地图和定位，例如高精度地图和高精度定位。但是由于地图不是实时更新的，如果地图与实际道路状况不符(或由于网络或地图故障而获取不到地图)和/或定位不准确，则自主驾驶车辆将难以准确地进行路径规划。例如，错误地判断自我位置，过早或过晚转弯以及造成碰撞等。因此，必须为高精度地图不可用或不准确的情况设置可替代的解决方案，以便车辆可以安全、准确地执行驾驶任务。


技术实现要素：

4.本公开的目的之一是提供自主驾驶的方法及系统。
5.根据本公开的第一方面，提供了一种自主驾驶的方法，包括：获取呈现所述车辆前方的环境的图像；以及使用已训练的神经网络模型对所述图像进行处理，以不借助激光雷达数据并且不借助定位信息地检测到所述车辆前方的可行驶轨迹。
6.在本方面的一个示例性实施例中，所述可行驶轨迹包括沿检测出的所述车辆前方的车道的中心线延伸的多个点。
7.在本方面的一个示例性实施例中，所述方法还包括：响应于通过对所述图像进行处理而未检测出所述车辆前方的车道，判断为所述车辆前方没有可行驶轨迹。
8.在本方面的一个示例性实施例中，呈现所述车辆前方的环境的图像包括：呈现所述车辆正前方的环境的第一图像、呈现所述车辆左前方的环境的第二图像和呈现所述车辆右前方的环境的第三图像。可选地，使用已训练的神经网络模型对所述图像进行处理包括：分别对所述第一至第三图像进行处理，以分别得到所述车辆正前方的第一可行驶轨迹、所述车辆左前方的第二可行驶轨迹和所述车辆右前方的第三可行驶轨迹。
9.在本方面的一个示例性实施例中，所述神经网络模型根据如下进行训练：从地图数据库中提取所针对的区域的车道的数据集；将所述数据集中的各个数据点转换到所述车辆的车身坐标系下，以得到转换数据集；以及基于所述转换数据集建立目标真值，并基于所述目标真值对所述神经网络模型进行训练。可选地，所述所针对的区域包括车辆正前方、左前方和右前方的预定距离范围内的区域。
10.根据本公开的第二方面，提供了一种自主驾驶的系统，包括：摄像头，被配置为获取呈现所述车辆前方的环境的图像；以及计算装置，被配置为使用已训练的神经网络模型对所述图像进行处理，以不借助激光雷达数据并且不借助定位信息地检测到所述车辆前方
的可行驶轨迹。
11.在本方面的一个示例性实施例中，所述可行驶轨迹包括沿检测出的所述车辆前方的车道的中心线延伸的多个点。
12.在本方面的一个示例性实施例中，所述计算装置还被配置为：响应于通过对所述图像进行处理而未检测出所述车辆前方的车道，判断为所述车辆前方没有可行驶轨迹。
13.在本方面的一个示例性实施例中，所述摄像头包括：第一摄像头，朝向所述车辆的正前方定位，被配置为获取呈现所述车辆正前方的环境的第一图像；第二摄像头，朝向所述车辆的左前方定位，被配置为获取呈现所述车辆左前方的环境的第二图像；以及第三摄像头，朝向所述车辆的右前方定位，被配置为获取呈现所述车辆右前方的环境的第三图像。可选地，所述第二和第三摄像头中的每一个与所述车辆的正前方在水平面的夹角在15度到45度的范围内，可替换地所述夹角约为30度。可选地，所述第一至第三图像分别为所述第一至第三摄像头所拍摄的画面的中间部分。可选地，所述计算装置还被配置为：分别对所述第一至第三图像进行处理，以分别得到所述车辆正前方的第一可行驶轨迹、所述车辆左前方的第二可行驶轨迹和所述车辆右前方的第三可行驶轨迹。
14.根据本公开的第三方面，提供了一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如上所述的方法。
15.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
16.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
17.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
18.图1a至1d是示意性地示出根据本公开实施例的自主驾驶的方法及系统所基于的摄像头的安装位置的示意图。
19.图2是示意性地示出根据本公开一个实施例的自主驾驶的方法的示意图。
20.图3a和3b示意性地示出图2中输出的可行驶轨迹。
21.图4是示意性地示出根据本公开一个实施例的自主驾驶的方法的示意图。
22.图5a至5c示意性地示出图4中输出的可行驶轨迹。
23.图6示出可以实现根据本公开实施例的计算装置的示例性配置图。
24.图7a和7b是示意性地示出根据本公开实施例的自主驾驶的方法中建立目标真值的示意图。
25.图8a和8b是示意性地示出根据本公开实施例的自主驾驶的方法和系统的输入、目标真值以及输出的示意图。
26.注意，在以下说明的实施方式中，有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在一些情况中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对
其进行进一步讨论。
具体实施方式
27.以下将参照附图描述本公开，其中的附图示出了本公开的若干实施例。然而应当理解的是，本公开可以以多种不同的方式呈现出来，并不局限于下文描述的实施例；事实上，下文描述的实施例旨在使本公开的公开更为完整，并向本领域技术人员充分说明本公开的保护范围。还应当理解的是，本文公开的实施例能够以各种方式进行组合，从而提供更多额外的实施例。
28.应当理解的是，本文中的用语仅用于描述特定的实施例，并不旨在限定本公开。本文使用的所有术语(包括技术术语和科学术语)除非另外定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构可以不再详细说明。
29.在本文中，用语“a或b”包括“a和b”以及“a或b”，而不是排他地仅包括“a”或者仅包括“b”，除非另有特别说明。
30.在本文中，用语“示例性的”意指“用作示例、实例或说明”，而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且，本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。
31.另外，仅仅为了参考的目的，还可以在本文中使用“第一”、“第二”等类似术语，并且因而并非意图限定。例如，除非上下文明确指出，否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。
32.还应理解，“包括/包含”一词在本文中使用时，说明存在所指出的特征、整体、步骤、操作、单元和/或组件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。
33.如前所述，在静态地图故障或定位不准确的情况下，自主驾驶车辆将难以规划路径。因此，车辆自主地实时检测车辆前方的可行驶区域就显得尤为重要。存在基于激光雷达(lidar)传感器收集的点云数据来检测车辆前方的可行驶区域的技术，例如检测车辆前方的道路轮廓(或道路边界)。本技术的发明人发现，这种方法在道路的几何形状比较复杂(例如十字交叉路口、丁字交叉路口、具有分支道路的路段和道路的转弯路段等非直行道路)或者在道路上存在障碍物(或障碍物比较多)的情况下的检测结果不是很理想。本技术的发明人还发现，在检测可行驶区域的时候可以不检测外形较为复杂的道路轮廓，而是可以检测可行驶轨迹，例如车辆前方的车道的中心线，以提供给车辆哪里可以继续行驶的指示，便于车辆进行自主驾驶规划。
34.响应于上述技术问题，发明人提出了自主驾驶的方法及系统，基于摄像头获取的呈现车辆前方的环境的图像，计算装置使用已训练的神经网络模型对图像进行处理，从而可以不借助激光雷达数据并且不借助定位信息地检测到车辆前方的可行驶轨迹。本公开所称的“可行驶轨迹”，包括沿计算装置检测出的车辆前方的车道的中心线延伸的多个点(例如，体现为这些点的坐标值)。在一些情况下，计算装置通过对图像进行处理而未检测出车辆前方的车道，则可以判断为车辆前方没有可行驶轨迹。
35.在一个实施例中，自主驾驶的系统可以仅包括一个摄像头，该摄像头朝向车辆的
正前方定位，以获取呈现车辆正前方的环境的图像。计算装置对呈现车辆正前方的环境的图像进行处理以检测车辆前方的可行驶轨迹。在该实施例中，系统包括的该摄像头可以是具有较大视角的摄像头(例如带有广角镜头或鱼眼镜头的摄像头)，也可以是具有普通视角摄像头(例如带有标准镜头的摄像头)。
36.图1a至1d是示意性地示出根据本公开实施例的方法及系统所基于的摄像头的安装位置的示意图。在一个实施例中，自主驾驶的系统可以包括三个摄像头，如图1a和1b所示，三个摄像头分别朝向车辆的正前方(摄像头1)、左前方(摄像头2)和右前方(摄像头3)定位，以分别获取呈现车辆正前方、左前方和右前方的环境的第一图像、第二图像和第三图像。在一个实施例中，如图1c和1d所示，三个摄像头分别朝向车辆的正前方(摄像头1)、车辆的左侧(摄像头2)和车辆的右侧(摄像头3)定位，以分别获取呈现车辆正前方、左前方和右前方的环境的第一图像、第二图像和第三图像。在这些实施例中，摄像头1、2、3可以如图1a和1c所示安装在车辆顶部，也可以如图 1b所示安装在车辆前部，还可以如图1c所示安装在车辆两侧，或者可以安装在车辆的其他合适的位置，只要能分别获取呈现车辆正前方、左前方和右前方的环境的第一图像、第二图像和第三图像即可，本公开对此不做限制。摄像头的安装角度会影响到其取景的范围，例如，在路口处摄像头能否拍摄到能够使得计算装置更好地检测可行驶轨迹的图像(下文称为“有用的”图像)。本技术的发明人发现，朝向左、右前方的摄像头2、3中的每一个与车辆的正前方(例如摄像头1的朝向)在水平面的夹角θ在15度到45度的范围内时，能够获取到较为有用的环境图像。可替换地，夹角θ约为30度时具有较佳的效果。此外，在一个实施例中，计算装置使用以进行图像处理的第一至第三图像可以分别为摄像头1、2、3所拍摄的画面的中间部分。这样一方面可以使用成像效果较好的部分(即使用画面的中间部分而摒弃画面的边缘部分)的图像，另一方面可以避免(或减少)第一至第三图像之间重叠的内容，此外还可以减小后续进行图像处理的计算量。
37.下面以输入到神经网络模型的图像为分别呈现车辆正前方、左前方和右前方的环境的第一图像、第二图像和第三图像为例，来说明计算装置使用已训练的神经网络模型对图像的处理。大体来讲，神经网络模型接收上述第一至第三图像，并分别对第一至第三图像进行处理，例如可以包括特征提取和特征重构处理，以分别得到车辆正前方的第一可行驶轨迹、车辆左前方的第二可行驶轨迹和车辆右前方的第三可行驶轨迹。
38.图2是示意性地示出根据本公开一个实施例的自主驾驶的方法的示意图。在该实施例中，图像10、20、30输入到神经网络模型40，神经网络模型40例如可以对图像10、20、30进行特征提取以分别生成第一至第三特征映射(feature map)，将第一至第三特征映射进行组合(例如根据摄像头1、2、3之间的相对位置和角度将第一至第三特征映射进行坐标转换之后进行图层叠加)以生成组合特征映射，以及对组合特征映射进行特征重构以生成并输出检测结果，即可行驶轨迹50。输出的可行驶轨迹50的示例可以如图3a和3b所示。图3a 所示的输出的可行驶轨迹50的示例表示，在计算装置通过对图像进行处理而未检测出车辆前方有任何车道(即认为车辆前方没有可行驶轨迹)。可以看出，这种情况下输出的可行驶轨迹50不包括可以沿成形的迹线延伸的多个点，例如可能没有输出任何点、或者输出少量的零散分布的点等，基于输出的可行驶轨迹来规划车辆的自主驾驶路线/ 轨迹的装置可以判断为车辆前方没有可供车辆行驶的车道，从而据此进行车辆的驾驶控制。图3b所示的输出的可行驶轨迹50的示例表示，在计算装置通过对图像进行处理之后检测出在车辆的正前
方、左前方和右前方分别各存在一条可供车辆行驶的车道。这种情况下输出的可行驶轨迹50包括可以沿成形的迹线延伸的多个点。应当理解，附图示出的示例并未涵盖所有可能的输出。例如，在未示出的其他情况下，计算装置可以检测出仅在车辆的正前方存在可供车辆行驶的车道、仅在车辆的左前方存在可供车辆行驶的车道、仅在车辆的左前方和右前方存在可供车辆行驶的车道、仅在车辆的正前方和右前方存在可供车辆行驶的车道等，这些情况下输出的可行驶轨迹50可以包括相应的轨迹。
39.图4是示意性地示出根据本公开一个实施例的自主驾驶的方法的示意图。在该实施例中，图像10、20、30输入到神经网络模型40，神经网络模型40例如可以对图像10、20、30进行特征提取以分别生成第一至第三特征映射(feature map)，并分别对第一至第三特征映射进行特征重构以分别生成并输出相应的各个检测结果，即可行驶轨迹60、70、80。输出的可行驶轨迹60、70、80的示例可以分别如图 5a至5c所示，其分别为车辆正前方的可行驶轨迹、车辆左前方的可行驶轨迹和车辆右前方的可行驶轨迹。在该实施例中，摄像头1拍摄的呈现车辆正前方的环境的图像10用于检测车辆正前方的可行驶轨迹，摄像头2拍摄的呈现车辆左前方的环境的图像20用于检测车辆左前方的可行驶轨迹，摄像头3拍摄的呈现车辆右前方的环境的图像30 用于检测车辆右前方的可行驶轨迹。当在车辆的正前方、左前方和右前方中的任意一个或多个方向上没有检测出可供车辆行驶的车道时，输出的可行驶轨迹60、70、80中相应的一个或多个可以如图3a所示。
40.计算装置进行可行驶轨迹的检测所使用的神经网络模型可使用已知的模型训练方法进行训练。例如，装载了摄像头(根据以上描述的实施例，车辆可以只装载一个摄像头、也可以装载三个摄像头)的车辆在真实环境中行驶，以便摄像头拍摄各个路段(或各个区域)的真实图像(例如图7a和7b中的原始图像部分，其中图7a中的原始图像为只装载一个摄像头的情况下拍摄的图像，图7b中的原始图像为装载了三个摄像头的情况下拍摄的图像)。然后对拍摄的真实图像进行目标真值(ground truth)的标注(例如可以人工进行标注)，标注后的图像如图7a和7b所示，其中在车道上延伸的迹线即为标准的目标真值，即在该真实环境中可供车辆行驶的轨迹。最后可以基于标注了目标真值的图像对神经网络模型进行训练，根据神经网络模型预测(本文也称“检测”)的结果(即可行驶轨迹)与目标真值之间的不一致程度(例如可以通过损失函数来体现)对神经网络模型的参数进行调整，使得预测的结果不断地接近目标真值，直到神经网络模型的输出结果满足预期即可完成对该神经网络模型的训练。
41.目标真值可以是根据地图数据库(例如存储高精度地图的数据库) 建立的。例如，根据原始图像被拍摄时的车辆的位置，从地图数据库中提取该位置前方的区域(包括正前方、左前方和右前方的预定距离范围内(例如100米)的区域，在本文中也被称为拍摄的原始图像“所针对的区域”)的车道的数据集。数据集可以包括车道的中心线上的各个点(这些点通常连续地延伸形成迹线)的坐标值。从地图数据库中提取的车道的中心线上的各个点的坐标值是在地图坐标系下的坐标值，要将其应用到拍摄的图像上，还需要对其进行坐标转换。将数据集中的各个数据点的坐标值转换到车辆的车身坐标系下，得到转换数据集。即，转换数据集包括车道的中心线上的各个点在车身坐标系下的坐标值。根据转换数据集中的各个点的坐标值，将各个点映射到所拍摄的原始图像上从而建立针对该原始图像的目标真值，如图7a和 7b所示。
42.图8a和8b是以具体的示例示出根据本公开实施例的自主驾驶的方法和系统的输入、目标真值以及输出的示意图。每幅附图的上部为摄像头获取的呈现车辆前方的环境的图像(其中图8a所示的示例为自主驾驶的系统仅包括一个摄像头的情况，而图8b所示的示例为自主驾驶的系统包括三个摄像头的情况)，中部为该图像所针对的区域的目标真值(呈现为在地图坐标系下)，下部为根据本公开实施例的自主驾驶的方法和系统的输出，即检测出的车辆前方的可行驶轨迹。可以看出，根据本公开实施例的方法和设备可以有效地检测出车辆前方的可行驶轨迹。
43.本公开还提供了自主驾驶的设备(也可称为“自主驾驶的系统”或“自主驾驶的车辆”)。自主驾驶的设备包括一个或多个处理器以及一个或多个存储器。一个或多个处理器被配置为执行上文描述的根据本公开实施例的方法。存储器被配置为存储处理器所需要的数据和程序等。程序包括可以使得处理器执行上文描述的根据本公开实施例的方法所需要的一系列计算机可执行的指令。数据包括上文描述的摄像头获取的呈现车辆前方的环境的图像、对图像进行处理的过程中各个步骤的输入、输出和中间结果，还可以包括上文描述的神经网络模型、甚至可以包括用于训练神经网络模型的样本集(原始图像以及标准了目标真值的图像)等。一个或多个存储器可以被配置为使用一个存储器来存储一项上述内容，还可以被配置为使用多个存储器来共同地存储一项上述内容，或者使用一个存储器来存储多于一项的上述内容。
44.需要说明的是，一个或多个存储器可以都是本地存储器(例如装载在该设备(或车辆)上的存储器)，也可以都是云端存储器(例如云端服务器中的存储器)，还可以部分是本地存储器部分是云端存储器。类似地，一个或多个处理器可以都是本地处理器(例如装载在该设备(或车辆)上的处理器)，也可以都是云端处理器(例如云端服务器中的处理器)，还可以部分是本地处理器部分是云端处理器。
45.图6示出可以实现根据本公开实施例的计算装置300的示例性配置图。现在将参考图6描述计算装置300，其还可以是应用于本公开的各方面的硬件设备的示例。计算装置300可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助理、智能电话、车载电脑、或其任何组合。上述根据本公开实施例的自主驾驶的系统中的计算装置，可以全部或至少部分地由计算装置300或类似设备或系统实现。
46.计算装置300可以包括可能经由一个或多个接口与总线302连接或与总线302通信的元件。例如，计算装置300可以包括总线302，以及一个或多个处理器304，一个或多个输入设备306和一个或多个输出设备308。一个或多个处理器304可以是任何类型的处理器，可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器 (例如特殊处理芯片)。输入设备306可以是可以向计算设备输入信息的任何类型的设备，可以包括但不限于摄像头、lidar传感器、鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备308可以是可以呈现信息的任何类型的设备，可以包括但不限于显示器、扬声器、视频/ 音频输出终端、振动器和/或打印机。
47.计算装置300还可以包括非暂时性存储设备310或者与非暂时性存储设备310连接。非暂时性存储设备310可以是非暂时性的并且可以实现数据存储的任何存储设备，可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、硬盘、磁带或任何其他磁介
质、光盘或任何其他光学介质、rom(只读存储器)、ram(随机存取存储器)、高速缓冲存储器、和/或任何其他存储器芯片/芯片组、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备310可以从接口拆卸。非暂时性存储设备310可以具有用于实现上述方法、步骤和过程的数据/指令/代码。上文所述的一个或多个存储器中的一个或多个可以由非暂时性存储设备310来实现。
48.计算装置300还可以包括通信设备312。通信设备312可以是能够与外部设备和/或与网络通信的任何类型的设备或系统，可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备、和/或芯片组，例如蓝牙设备、1302.11设备、wifi设备、wimax设备、蜂窝通信设备、和/或类似物。
49.计算装置300还可以连接到外部设备，例如gps接收器，用于感测不同环境数据的传感器，例如加速度传感器、车轮速度传感器、陀螺仪和等等。以这种方式，计算装置300可以例如接收指示车辆的行驶状况的位置数据和传感器数据。当计算装置300用作车载设备时，它还可以连接到车辆的其他设施(例如发动机系统、雨刮器、防抱死制动系统等)以控制车辆的运行和操作。
50.另外，非暂时性存储设备310可以具有地图信息和软件元素，使得处理器304可以执行路线引导处理。另外，输出设备308可以包括用于显示地图、车辆的位置标记、以及指示车辆的行驶状况的图像的显示器。输出设备308还可以包括扬声器或具有耳机的接口，用于音频引导。
51.总线302可以包括但不限于工业标准体系结构(isa)总线、微通道架构(mca)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)本地总线、和外围部件互连(pci)总线。特别地，对于车载设备，总线302还可以包括控制器区域网络(can)总线或设计用于在车辆上应用的其他架构。
52.计算装置300还可以包括工作存储器314，其可以是可以存储对处理器304的工作有用的指令和/或数据的任何类型的工作存储器，可以包括但不限于随机存取存储器和/或只读存储设备。
53.软件元素可以位于工作存储器314中，包括但不限于操作系统316、一个或多个应用程序318、驱动程序、和/或其他数据和代码。用于执行上述方法和步骤的指令可以包括在一个或多个应用程序318中。软件元素的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质中，例如上述存储设备310，并且可以通过编译和/或安装被读入工作存储器314中。还可以从远程位置下载软件元素的指令的可执行代码或源代码。
54.还应该理解，可以根据具体要求进行变化。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现特定元件。此外，可以采用与诸如网络输入/ 输出设备之类的其他计算设备的连接。例如，根据本公开实施例的方法或装置中的一些或全部可以通过使用根据本公开的逻辑和算法的、用汇编语言或硬件编程语言(诸如verilog，vhdl，c )的编程硬件(例如，包括现场可编程门阵列(fpga)和/或可编程逻辑阵列(pla)的可编程逻辑电路)来实现。
55.还应该理解，计算装置300的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而可以由远离该一个处理器的另一个处理器执行其他处理。计算装置300的其他组件也可以类似地分布。这样，计算装置300可以被解释为在多个位置执行处理的分布
式计算系统。
56.尽管到目前为止已经参考附图描述了本公开的各方面，但是上述方法，系统和设备仅仅是示例性示例，并且本发明的范围不受这些方面的限制，而是仅由以下方面限定：所附权利要求及其等同物。可以省略各种元件，或者可以用等效元件代替。另外，可以以与本公开中描述的顺序不同的顺序执行这些步骤。此外，可以以各种方式组合各种元件。同样重要的是，随着技术的发展，所描述的许多元素可以由在本公开之后出现的等同元素代替。