基于附加车辆的所确定的横摆参数控制自动驾驶车辆的制作方法

背景技术：

1、随着计算技术和车辆技术继续演进，自主相关特征已变得更强大且广泛可用，并且能够在各种各样的情况下控制车辆。对于汽车，例如，汽车工程师协会（sae）已建立了标准（j3016），该标准标识从“无自动驾驶”到“完全自动驾驶”的六个驾驶自动驾驶级别。sae标准将级别0定义为即便当由警告或干预系统增强时人类驾驶员也对动态驾驶任务的所有方面进行完全执行的“无自动驾驶”。级别1被定义为其中车辆在至少一些驾驶模式下控制转向或加速/减速（而不是两者）从而让操作者执行动态驾驶任务的所有剩余方面的“驾驶员辅助”。级别2被定义为其中车辆在至少一些驾驶模式下控制转向和加速/减速从而让操作者执行动态驾驶任务的所有剩余方面的“部分自动驾驶”。级别3被定义为其中对于至少一些驾驶模式自动驾驶系统执行动态驾驶任务的所有方面同时期望人类驾驶员会适当地对干预请求做出响应的“有条件自动驾驶”。级别4被定义为其中对于仅某些条件即使人类驾驶员未适当地对干预要求做出响应自动驾驶系统也执行动态驾驶任务的所有方面的“高度自动驾驶”。级别4的某些条件可以是例如某些类型的道路（例如，高速公路）和/或某些地理区域（例如，已被适当地绘制的领域范围大都市区域）。最后，级别5被定义为其中车辆能够在所有条件下在没有操作者输入的情况下操作的“完全自动驾驶”。

2、任何自主相关技术的基本挑战涉及收集并解释关于车辆周围环境的信息，以及规划并执行命令以适当地控制车辆运动以将车辆安全地导航通过其当前环境。因此，人们一直在努力改进这些方面中的每个方面，并且通过这样做，自动驾驶车辆日益能够在日益复杂的环境中可靠地操作并且适配环境内的预期交互和意外交互两者。

技术实现思路

1、在一些实施方式中，提供了一种基于附加车辆的所确定的横摆参数而适配自动驾驶车辆的自主控制的方法。该方法包括从车辆的相位相干光检测和测距（lidar）组件接收相位相干lidar组件的感测周期的相位相干lidar数据点的组。该组的相位相干lidar数据点中的每个指示环境中的对应点的对应范围（range）和对应速度，并且该组的相位相干lidar数据点中的每个基于相位相干lidar组件在感测周期期间的对应感测事件来生成。该方法进一步包括确定该组的相位相干lidar数据点的子组对应于除车辆之外的附加车辆。该方法进一步包括基于确定子组对应于附加车辆，基于子组中的多个相位相干lidar数据点来确定附加车辆的横摆参数。该方法进一步包括基于附加车辆的所确定的横摆参数来适配车辆的自主控制。

2、本文描述的技术的这些和其它实施方式能够包括以下特征中的一个或多个。

3、在一些实施方式中，确定该组的相位相干lidar数据点的子组对应于附加车辆包括：使用经训练的机器学习模型处理该组的相位相干lidar数据点；基于使用经训练的机器学习模型对该组的相位相干lidar数据点的处理，生成指示子组具有车辆分类的输出；以及基于指示子组具有车辆分类的输出，确定子组对应于附加车辆。

4、在一些实施例中，基于子组中的多个相位相干lidar数据点确定附加车辆的横摆参数包括：确定子组的多个相位相干lidar数据点中的一个或多个的第一集合；基于子组的多个相位相干lidar数据点中的一个或多个的第二集合在空间上与第一集合的偏移，确定该第二集合；以及基于第一集合与第二集合的比较确定横摆参数。在那些实施方式的一些版本中，确定第一集合和第二集合相对于彼此在空间上偏移至少部分地基于由第一集合和第二集合指示的对应范围。在那些实施方式的一些附加或可替代版本中，基于第一集合与第二集合的比较来确定附加车辆的横摆参数包括：基于第一集合的第一设定速度量值与第二集合的第二设定速度量值的比较来确定横摆参数。第一设定速度量值基于第一集合的对应速度，而第二设定速度量值基于第二集合的对应速度。在各种实施方式中，附加车辆的横摆参数可以包括附加车辆的横摆率，并且基于第一集合与第二集合的比较来确定附加车辆的横摆参数可以进一步包括：基于第一集合和第二集合之间的空间偏移来确定距离；和基于第一设定速度量值与第二设定速度量值的比较以及距离来确定横摆率。基于第一设定速度量值和第二设定速度量值的比较以及距离来确定横摆率可以包括：基于第一设定速度量值和第二设定速度量值的比较来确定第一设定速度量值和第二设定速度量值之间的速度差；和基于距离将速度差转换成横摆率。在各种实施方式中，附加车辆的横摆参数可以是附加车辆的下限横摆率，并且该方法可以进一步包括确定附加车辆的附加横摆参数，该附加横摆参数是上限横摆率并且基于第一集合与第二集合之间的比较来确定。例如，该方法可以进一步包括基于第一设定速度量值与第二设定速度量值的比较来确定第一设定速度量值和第二设定速度量值之间的速度差，并且确定下限横摆率可以包括将速度差除以距离，并且确定上限横摆率可以包括将速度差除以下述值：该值基于距离，但是该值的量值相对于距离减小。在确定相位相干lidar数据点的第一集合和第二集合的各种实施方式中，第一集合包括多个相位相干lidar数据点中的多个，并且第一设定速度量值基于多个相位相干lidar数据点中的多个的对应速度来确定。例如，第一设定速度量值可以基于多个相位相干lidar数据点中的多个的对应速度的平均值。在其中横摆参数包括横摆率并且其中确定附加车辆的横摆参数基于第一集合与第二集合的比较的各种实施方式中，确定横摆参数包括：基于第一设定速度量值与第二设定速度量值的比较来确定速度差；识别附加车辆的存储模型；以及基于附加车辆的存储模型将速度差转换成横摆率。第一设定速度量值可以基于第一集合的对应速度，而第二设定速度量值可以基于第二集合的对应速度。在那些各种实施方式中的一些中，识别附加车辆的存储模型包括基于子组的相位相干lidar数据点，从多个候选存储模型中选择存储模型。

5、在各种实施方式中，横摆参数包括横摆率和横摆方向。在那些实施方式中的一些中，基于子组的多个相位相干lidar数据点来确定附加车辆的横摆参数包括：使用经训练的机器学习模型来处理子组的多个相位相干lidar数据点；基于使用经训练的机器学习模型对该组的相位相干lidar数据点的处理，生成指示横摆率的输出；以及基于该输出来确定横摆率和横摆方向。在那些实施方式的一些版本中，使用经训练的机器学习模型来处理子组的多个相位相干lidar数据点包括使用经训练的机器学习模型来处理子组的所有相位相干lidar数据点。

6、在一些实施方式中，附加车辆的横摆参数是指示横摆率的速度差。在那些实施方式中的一些中，基于附加车辆的所确定的横摆参数适配车辆的自主控制包括基于速度差超过阈值来适配自主控制。

7、在一些实施方式中，基于附加车辆的所确定的横摆参数适配车辆的自主控制包括改变车辆的速度和/或车辆的方向。在那些实施方式中的一些中，横摆参数是横摆率，并且基于附加车辆的所确定的横摆率适配车辆的自主控制响应于确定所确定的横摆率满足阈值。

8、在一些实施方式中，基于附加车辆的所确定的横摆参数适配车辆的自主控制包括：基于所确定的横摆参数确定附加车辆的至少一个候选轨迹；和基于至少一个候选轨迹适配车辆的自主控制。

9、在一些实施方式中，该组相位相干lidar数据点包括三维点云。

10、在一些实施方式中，相位相干lidar组件是相位相干lidar单脉冲组件。在那些实施方式中的一些中，相位相干lidar组件的对应感测事件均包括在相位相干lidar单脉冲组件的第一接收器处的第一接收器感测事件以及在相位相干lidar单脉冲组件的第二接收器处的第二接收器感测事件。在那些实施方式的一些版本中，相位相干lidar组件的对应感测事件进一步包括在相位相干lidar单脉冲组件的第三接收器处的第三接收器感测事件。

11、在一些实施方式中，相位相干lidar组件是调频连续波（fmcw）lidar组件。

12、在一些实施方式中，提供了一种基于附加车辆的所确定的横摆率适配自动驾驶车辆的自主控制的方法，并且该方法包括从车辆的相位相干lidar组件接收捕获车辆的环境的相位相干lidar数据。对于车辆的环境中的多个点中的每个点，相位相干lidar数据指示基于相位相干lidar组件的对应感测事件的至少一个对应范围和至少一个对应速度。该方法进一步包括确定相位相干lidar数据的子组对应于处于环境中、除车辆之外的附加车辆。该方法进一步包括确定附加车辆的横摆率以及基于附加车辆的所确定的横摆率适配车辆的自主控制。确定附加车辆的横摆率基于由子组的相位相干lidar数据指示的多个对应速度。

13、本文描述的技术的这些和其它实施方式能够包括以下特征中的一个或多个。

14、在一些实施方式中，确定相位相干lidar数据的子组对应于附加车辆包括：使用经训练的机器学习模型处理相位相干lidar数据；基于使用经训练的机器学习模型处理相位相干lidar数据生成指示子组具有车辆分类的输出；以及基于指示子组具有车辆分类的输出选择子组。

15、在一些实施方式中，确定附加车辆的横摆率包括：基于子组的相位相干lidar数据指示的多个对应速度确定速度梯度；并且基于速度梯度确定横摆率。

16、在一些实施方式中，基于附加车辆的所确定的横摆率适配车辆的自主控制包括改变车辆的速度以及车辆的方向其中之一或两者。

17、在一些实施方式中，相位相干lidar数据包括：距离多普勒图像、三维点云和/或中频波形。中频波形可以基于本地光学振荡器在对应的感测事件期间与时间延迟反射的混合来生成。

18、在一些实施方式中，相位相干lidar组件是至少包括第一相干接收器和第二相干接收器的相位相干lidar单脉冲组件。在那些实施方式中的一些中，相位相干lidar组件的对应感测事件每个都包括相位相干lidar单脉冲组件的第一相干接收器处的第一接收器感测事件以及相位相干lidar单脉冲组件的第二相干接收器处的第二接收器感测事件（以及可选的进一步接收器处的进一步接收器感测事件）。

19、在一些实施方式中，相位相干lidar组件是fmcw lidar组件。

20、在一些实施方式中，提供了一种基于附加车辆的所确定的横摆参数适配自动驾驶车辆的自主控制的方法，并且该方法包括从车辆的相位相干lidar单脉冲组件接收捕获车辆的环境的相位相干lidar单脉冲数据。相位相干lidar单脉冲组件包括激光源以及至少第一相干接收器和第二相干接收器。对于车辆的环境中的多个点中的每个点，相位相干lidar单脉冲数据都指示基于相位相干lidar单脉冲组件的对应感测事件的至少一个对应范围和至少一个对应速度。相位相干lidar组件的对应感测事件每个都包括通过第一接收器进行的第一接收器感测事件和通过第二接收器进行的第二接收器感测事件。该方法进一步包括基于由相位相干lidar单脉冲数据指示的多个对应速度确定车辆的环境中的附加车辆的横摆参数。该方法进一步包括基于附加车辆的所确定的横摆参数适配车辆的自主控制。

21、本文公开的技术的这些和其他实施方式可以可选地包括一个或多个下列特征。

22、在一些实施方式中，基于相位相干lidar单脉冲数据确定附加车辆的横摆参数包括：确定相位相干lidar单脉冲数据的第一集合；基于相位相干lidar单脉冲数据的第二集合在空间上与第一集合的偏移确定该第二集合；以及基于第一设定速度和第二设定速度确定横摆参数。第一设定速度基于第一集合的至少一个对应速度，第二设定速度基于第二集合的至少一个对应速度。在那些实施方式中的一些中，附加车辆的横摆参数包括附加车辆的横摆率。在那些实施方式的一些版本中，基于第一设定速度与第二设定速度的比较确定附加车辆的横摆参数进一步包括：基于第一集合与第二集合之间的空间偏移确定距离；和根据第一设定速度、第二设定速度以及距离确定横摆率。在那些版本中的一些中，根据第一设定速度、第二设定速度和距离确定横摆率包括：确定第一设定速度与第二设定速度之间的速度差；和基于距离将速度差转换成横摆率。

23、在一些实施方式中，横摆参数包括横摆率，并且基于由相位相干lidar单脉冲数据指示的多个对应速度确定横摆参数包括：识别附加车辆的存储模型；和基于多个对应速度并且基于附加车辆的存储模型确定横摆率。在那些实施方式中的一些中，基于多个对应速度并基于附加车辆的存储模型确定横摆率包括：基于多个对应速度确定速度差；和基于附加车辆的存储模型将速度差转换成横摆率。

24、在一些实施方式中，横摆参数包括横摆率，并且基于相位相干lidar单脉冲数据确定附加车辆的横摆参数包括：使用经训练的机器学习模型处理相位相干lidar单脉冲数据的至少一部分；基于使用经训练的机器学习模型处理相位相干lidar单脉冲数据的至少一部分来生成指示横摆率的输出；以及基于输出确定横摆率。

25、在一些实施方式中，相位相干lidar组件是fmcw lidar组件。

26、在一些实施方式中，提供了一种方法，包括从车辆的相位相干lidar组件接收捕获车辆的环境的相位相干lidar数据。对于车辆的环境中的多个点中的每个点，相位相干lidar数据都指示基于相位相干lidar组件的对应感测事件的至少一个对应范围和至少一个对应速度。该方法进一步包括确定相位相干lidar数据的子组对应于处于环境中并附加于车辆的附加车辆。该方法进一步包括基于由子组的相位相干lidar数据指示的多个对应速度，确定附加车辆的横摆参数。该方法进一步包括向车辆的至少一个子系统（诸如车辆的规划子系统和/或控制子系统）提供所确定的横摆参数。

27、在一些实施方式中，提供了一种方法，该方法包括从车辆的相位相干组件接收相位相干lidar数据，该相位相干lidar数据捕获车辆的环境并且对于车辆的环境中的多个点中的每个点都指示基于相位相干lidar组件的对应感测事件的至少一个对应范围和至少一个对应速度。该方法进一步包括基于由相位相干lidar数据指示的多个对应速度，确定处于车辆的环境中的附加车辆的横摆参数。该方法进一步包括向车辆的至少一个子系统（诸如车辆的规划子系统和/或控制子系统）提供所确定的横摆参数。

28、上述两个实施方式，以及本文公开的技术的其他实施方式可以包括一个或多个下列特征。

29、在一些实施方式中，横摆参数包括横摆率，并且基于相位相干lidar数据确定附加车辆的横摆参数包括使用经训练的机器学习模型处理相位相干lidar数据的至少一部分；基于使用经训练的机器学习模型处理相位相干lidar数据的至少一部分来生成指示横摆率的输出；以及基于输出确定横摆率。

30、在一些实施方式中，相位相干lidar组件是相位相干单脉冲组件，并且相位相干lidar数据是相位相干lidar单脉冲数据。在一些附加或可替代实施方式中，相位相干lidar组件是fmcw lidar组件。

31、在一些实施方式中，提供了一种训练机器学习模型的方法。该机器学习模型将用于至少一辆自动驾驶车辆的自主控制，并且该方法包括生成多个训练实例。生成每个训练实例包括：基于来自对应自动驾驶车辆的视觉组件的视觉数据的对应实例，生成训练实例的训练实例输入；并且基于附加车辆数据的对应实例生成训练实例的监督训练实例输出，该附加车辆数据的对应实例基于由视觉数据的对应实例捕获的对应附加车辆的一个或多个传感器。附加车辆数据的对应实例指示对应附加车辆的至少一个动态特性的对应当前状态。附加车辆数据的对应实例用于基于确定附加车辆数据的对应实例在时间上对应于视觉数据的对应实例来生成监督训练实例输出。该方法进一步包括基于多个训练实例来训练机器学习模型，以及提供经训练的机器学习模型以用于控制至少一辆自动驾驶车辆。

32、本文公开的技术的这些和其他实施方式可以可选地包括一个或多个下列特征。

33、在一些实施方式中，视觉数据的对应实例是光检测和测距（lidar）数据，视觉组件是lidar组件。在那些实施方式中的一些中，lidar组件是相位相干lidar组件，并且lidar数据包括相位相干lidar组件的感测周期的一组lidar数据点。该组的lidar数据点中的每个都指示环境中的对应点的对应范围和对应速度，并且每个都基于感测周期的对应感测事件来生成。

34、在一些实施方式中，训练实例的监督训练实例输出进一步包括限制区域的指示，限制区域限制了捕获对应附加车辆的视觉数据的一部分。

35、在一些实施方式中，训练机器学习模型包括：使用机器学习模型处理训练实例的训练实例输入，以生成预测输出；基于预测输出和训练实例的监督训练实例输出生成损失；并基于所生成的损失来更新机器学习模型。

36、在一些实施方式中，附加车辆数据的实例包括一个或多个横摆参数，并且对应附加车辆的一个或多个传感器至少包括横摆率传感器。在那些实施方式中的一些中，附加车辆数据基于对对应附加车辆的控制器局域网的监控来确定。

37、在一些实施方式中，附加车辆数据的实例包括对应附加车辆的速度和加速度其中之一或两者。

38、在一些实施方式中，附加车辆数据的实例包括横摆参数以及速度和加速度其中之一或两者。

39、在一些实施方式中，该方法进一步包括：由至少一个自动驾驶车辆的给定自动驾驶车辆的至少一个处理器使用经训练的机器学习模型来处理（由给定自动驾驶车辆的给定视觉组件捕获的）给定视觉数据；基于处理，生成由给定视觉数据捕获的给定附加车辆的预测状态；以及基于预测状态控制给定自动驾驶车辆。在那些实施方式中的一些中，给定视觉数据是在视觉组件的感测周期期间捕获的视觉数据的子组，并且该方法进一步包括基于确定子组对应于给定附加车辆来生成视觉数据的子组。在那些实施方式的一些版本中，确定子组对应于给定附加车辆包括：使用附加对象检测和分类模型处理视觉数据；和基于根据使用附加对象检测和分类模型处理视觉数据而生成的输出来确定子组对应于给定附加车辆。

40、在一些实施方式中，提供了一种使用经训练的机器学习模型控制自动驾驶车辆的方法。该方法由自动驾驶车辆的一个或多个处理器实现，该方法包括使用经训练的机器学习模型来处理给定视觉数据，其中，给定视觉数据被自动驾驶车辆的视觉组件捕获。该方法进一步包括基于处理，生成由给定视觉数据捕获的给定附加车辆的至少一个动态特性的预测状态。该方法进一步包括基于预测状态控制自动驾驶车辆。经训练的机器学习模型基于多个训练实例来训练，这些训练实例每个都包括：基于来自对应的自动驾驶车辆的视觉组件的视觉数据的对应实例的训练实例输入；和基于附加车辆数据的对应实例的监督训练实例输出，附加车辆数据的对应实例基于由视觉数据的对应实例捕获的对应附加车辆的一个或多个传感器。

41、本文公开的技术的这些和其他实施方式可以包括一个或多个下列特征。

42、在一些实施方式中，给定视觉数据是在视觉组件的感测周期期间捕获的视觉数据的子组，并且该方法进一步包括基于确定子组对应于给定附加车辆生成视觉数据的子组。在那些实施方式中的一些中，确定子组对应于给定附加车辆包括：使用附加对象检测和分类模型处理视觉数据；并且基于根据使用附加对象检测和分类模型处理视觉数据而生成的输出来确定子组对应于给定附加车辆。

43、在一些实施方式中，控制自动驾驶车辆包括控制自动驾驶车辆的速率和/或方向。

44、在一些实施方式中，至少一个特性包括附加车辆的横摆率和/或横摆方向。

45、在一些实施方式中，至少一个特性包括附加车辆的速度和/或加速度。

46、在一些实施方式中，至少一个特性包括附加车辆的横摆参数、速度和/或加速度。

47、此外，一些实施方式包括一种具有一个或多个处理器的自动驾驶车辆，所述一个或多个处理器可操作来执行存储在相关存储器中的指令，并且其中指令被配置成使得执行本文描述的方法中的任一种。一些实施方式附加地或替换地包括一种或多种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储可由一个或多个处理器执行以执行本文描述的方法中的任一种的计算机指令。

48、应该领会，在本文中更详细地描述的前述构思和附加构思的所有组合被设想为是本文公开的主题的一部分。例如，在本公开的结尾处出现的要求保护的主题的所有组合被设想为是本文公开的主题的一部分。