使用传感器数据进行道路状况分类的装置和方法与流程

1.该技术领域通常涉及车辆领域，并且更具体地，涉及使用传感器数据的用于车辆的道路状况分类。


背景技术：

2.当今，许多车辆包括传感器，该传感器尤其用于检测车辆正在行驶的道路的道路状况。然而，在某些实施例中，现有技术在某些环境中可能并不总是提供道路状况的最佳分类。
3.因此，期望提供使用传感器数据来对车辆正在行驶的道路上的道路状况进行分类的系统和方法。此外，结合附图和本发明的背景技术，根据本发明的随后的详细描述和所附的权利要求，本发明的其他期望的特征和特性将变得显而易见。


技术实现要素：

4.根据示例性实施例，提供了一种用于基于车辆正在其上行驶的道路的状况来控制车辆动作的方法，该方法包括：从车辆车载的一个或多个第一传感器获得关于道路表面的第一传感器数据；从车辆车载的一个或多个第二传感器获得关于与车辆的操作有关的测量参数或与其有关的状况的第二传感器数据；从第一传感器数据生成多个道路表面通道图像，其中每个道路表面通道图像捕获第一传感器数据的特性中的多个方面之一；基于所测量的参数和多个道路表面通道图像，经由处理器，使用神经网络模型对车辆正在其上行驶的道路的状况进行分类；以及基于道路的状况的分类来控制车辆动作。
5.同样在示例性实施例中，所测量的参数包括车辆的速度。
6.同样在示例性实施例中，第一传感器数据是经由设置在车辆的前保险杠附近的多个超短距离雷达(usrr)传感器获得的。
7.同样在示例性实施例中，该状况包括关于道路表面是湿的、干的还是被雪覆盖的道路表面的表面状况。
8.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括来自第一传感器的在(x，y)位置处的返回能量。
9.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括来自第一传感器的在(x，y)位置处的z坐标。
10.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括来自第一传感器的在(x，y)位置处的多普勒值。
11.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括来自第一传感器的在(x，y)位置处的传感器索引(index)值。
12.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括以下中的每个：(i)来自第一个传感器的在(x，y)位置处的返回能量；(ii)来自第一传感器的在(x，y)位置处的z坐标；(iii)来自第一传感器的在(x，y)位置处的多普
勒值；以及(iv)来自第一传感器的在(x，y)位置处的传感器索引值。
13.同样在示例性实施例中，该方法还包括：经由处理器，基于车辆速度的分类生成速度图像通道；以及经由处理器，将多个道路表面通道图像与速度图像通道融合；其中，对状况进行分类的步骤包括基于多个道路表面通道图像与速度图像通道的融合，经由处理器，使用神经网络模型对车辆正在其上行驶的道路的状况进行分类。
14.同样在示例性实施例中，该方法还包括：经由处理器，从多个道路表面通道图像执行特征提取；以及在车辆速度的分类和特征提取之间进行特征级融合，以形成多个道路表面通道图像；其中，对状况进行分类的步骤包括：基于车辆速度的分类与特征提取之间的特征级融合，经由处理器，使用神经网络模型对车辆正在其上行驶的道路的状况进行分类，以形成多个道路表面通道图像。
15.在另一个示例性实施例中，提供了一种用于基于对车辆正在其上行驶的道路的状况进行分类来控制车辆动作的系统，该系统包括：一个或多个第一传感器，其被配置为提供关于道路表面的第一传感器数据；一个或多个第二传感器，其被配置为提供关于与车辆的操作有关的测量参数或与其有关的状况的第二传感器数据；以及处理器，其设置为联接到第一传感器和第二传感器并配置为：从第一传感器数据生成多个道路表面通道图像，其中每个道路表面通道图像捕获第一传感器数据的特性中的多个方面之一；基于所测量的参数和多个道路表面通道图像，使用神经网络模型对车辆正在其上行驶的道路的状况进行分类；以及提供指令，以根据道路的状况控制车辆的动作。
16.在另一个示例性实施例中，提供了一种车辆，该车辆包括车身、驱动系统和控制系统。驱动系统设置在车身内，并且被配置为驱动车辆。该控制系统联接到驱动系统，并且包括：一个或多个第一传感器，其被配置为提供关于道路的表面的第一传感器数据；以及一个或多个第二传感器，其被配置为提供关于与车辆的操作有关的测量参数或与其有关的状况的第二传感器数据；以及处理器，其设置为联接到第一传感器和第二传感器，并配置为：从第一传感器数据生成多个道路表面通道图像，其中每个道路表面通道图像捕获第一传感器数据的特性中的多个方面之一；基于所测量的参数和多个道路表面通道图像，使用神经网络模型对车辆正在其上行驶的道路的状况进行分类；以及提供指令，以根据道路的状况控制车辆的动作。
17.同样在示例性实施例中，车辆包括前保险杠；以及一个或多个第一传感器包括设置在车辆的前保险杠附近的多个超短距离雷达(usrr)传感器。
18.同样在示例性实施例中，该状况包括关于道路表面是湿的、干的还是被雪覆盖的道路表面的表面状况。
19.同样在示例性实施例中，该状况包括制造道路表面的材料。
20.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括来自第一传感器的在(x，y)位置处的返回能量。
21.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括来自第一传感器的在(x，y)位置处的多普勒值。
22.同样在示例性实施例中，如在表面通道图像中所反映的第一传感器数据的特性中的多个方面包括来自第一传感器的在(x，y)位置处的传感器索引值。
23.同样在示例性实施例中，其中，处理器还被配置为：基于车辆速度的分类生成速度
图像通道；以及将多个道路表面通道图像与速度图像通道融合；以及基于多个道路表面通道图像与速度图像通道的融合，使用神经网络模型对车辆正在其上行驶的道路的状况进行分类。
24.同样在一个示例性实施例中，该处理器还被配置为：从多个道路表面通道图像执行特征提取；以及在车辆速度的分类和特征提取之间执行特征级融合，以形成多个道路表面通道图像；以及基于车辆速度分类和特征提取之间的特征级融合，使用神经网络模型对车辆正在其上行驶的道路的状况进行分类，以形成多个道路表面通道图像。
附图说明
25.在下文中，将结合以下附图描述本公开，其中，相同的附图标记表示相同的元件，并且在附图中：
26.图1是根据示例性实施例的车辆的简化图，该车辆包括用于对车辆正在行驶的道路的路况进行分类的控制系统；
27.图2是根据示例性实施例的用于对车辆正在行驶的道路的道路状况进行分类并且可以结合图1的车辆来实现的过程的流程图；
28.图3是根据示例性实施例的图2的过程200的示例性特征的特写视图，即：多通道传感器道路表面图像以及道路表面图像与车辆速度图像的图像融合；
29.图4是根据示例性实施例的用于对车辆正在行驶的道路的路况进行分类并且可以结合图1的车辆来实现的替代过程的流程图；和
30.图5是根据示例性实施例的如经由图2的过程和/或图4的替代过程确定的不同道路状况的传感器生成的图像的描绘。
具体实施方式
31.以下详细描述本质上仅是示例性的，并且不意图限制本公开或其应用和使用。此外，无意受到在先前背景或以下详细描述中提出的任何理论的束缚。
32.图1示出了根据示例性实施例的系统100。在各个实施例中，并且如下所述，系统100包括车辆100。然而，这可以在其他实施例中变化。例如，在某些实施例中，系统100可以包括任何数量的其他类型的移动和/或非移动平台。
33.如下面进一步详细描述的，根据示例性实施例，车辆100包括用于对车辆100正在行驶的道路的道路状况进行分类的控制系统102。
34.在某些实施例中，车辆100包括汽车。在各个实施例中，车辆100可以是许多不同类型的汽车中的任何一种，例如轿车、货车、卡车或运动型多用途车(suv)，并且在某些实施例中，可以是两轮驱动(2wd)(即后轮驱动或前轮驱动)，四轮驱动(4wd)或全轮驱动(awd)和/或各种其他类型的车辆。在某些实施例中，车辆100还可包括一种或多种其他类型的车辆。另外，在各个实施例中，还将理解，车辆100可以包括任何数量的其他类型的移动平台和/或非移动平台。例如，虽然在图1中描绘了车辆100，但是应当理解，在各种其他实施例中，车辆100可以替代地包括交通控制系统，桥、立杆(pole)或其他设备上的固定系统，和/或任何数量的不同类型的非移动和/或移动平台。
35.在所示实施例中，车辆100的车身106基本上包围了车辆100的其他部件。同样在所
示实施例中，车辆100包括多个车轮108和前保险杠110。同样在所示实施例中，车轮108每个都设置在车身106的相应角部附近，以促进车辆100的运动。在一个实施例中，车辆100包括四个车轮108，尽管在其他实施例中这可以变化(例如，对于卡车和某些其他车辆)。在某些实施例中，车辆100包括自自主车辆，例如半自主和/或完全自主(例如，自动驾驶)车辆100。
36.在各个实施例中，车辆100包括驱动车轮108的驱动系统112。驱动系统112优选地包括推进系统。在某些示例性实施例中，驱动系统112包括内燃机和/或电动机/发电机。在某些实施例中，驱动系统112可以改变，和/或可以使用两个或更多个驱动系统112。举例来说，车辆100还可结合多种不同类型的推进系统中的任何一种或组合，例如，汽油或柴油燃料的内燃机、“柔性燃料车辆”(ffv)发动机(即，使用汽油和酒精的混合物)、气态化合物(例如，氢气和/或天然气)为燃料的发动机、燃烧/电动机混合动力发动机和电动机。
37.如图1所示，在各个实施例中，车辆100还包括制动系统114和转向系统116，以及其他车辆系统。在各个实施例中，制动系统114和转向系统116联接到驱动系统112和/或作为驱动系统112的一部分。如下所述的，在某些实施例中，制动系统114和转向系统116分别包括自动制动和转向功能，其利用车辆100正在其上行驶的道路的路况的分类。
38.在各个实施例中，例如当驾驶员接合车辆100的制动踏板时，和/或在控制系统102和/或一个或多个用于车辆100的其他控制系统的引导下，制动系统114为车辆100提供制动。在各个实施例中，制动系统114包括自动制动部件，用于至少部分地基于所确定的用于车辆正在其上行驶的道路的道路状况而在由控制系统102指导这样做时为车辆100提供自动制动。在某些实施例中，例如自主车辆，制动可以由车辆100完全自动地控制(例如，经由下面描述的其处理器142)。
39.同样在各个实施例中，例如当驾驶员接合车辆100的方向盘时，和/或如由控制系统102和/或一个或多个用于车辆100的其他控制系统引导时，转向系统116为车辆100提供转向。同样在各个实施例中，转向系统116包括自动转向部件，用于至少部分地基于确定的车辆正在其上行驶的道路的道路状况而在由控制系统102引导这样做时为车辆100提供自动转向。在各个实施例中，制动系统114包括自动制动部件，用于至少部分地基于所确定的车辆正在其上行驶的道路的道路状况而在由控制系统102引导这样做时为车辆100提供自动制动。在某些实施例中，例如自主车辆，转向可以由车辆100完全自动地控制(例如，经由下面描述的其处理器142)。
40.如上所述，根据示例性实施例，在各个实施例中，控制系统102提供车辆100正在其上行驶的道路的道路状况的分类。同样在各个实施例中，控制系统102还提供用于控制车辆100的一个或多个动作，例如至少部分地基于车辆正在其上行驶的道路的状况的分类来提供通知和/或实现自动制动和/或自动转向。另外，在各个实施例中，控制系统102基于图2的过程200和/或图4的替代过程400的步骤来提供这些功能，如以下结合其进一步描述的。
41.如图1所示，在各个实施例中，控制系统102包括传感器阵列120、控制器140和显示器160。根据示例性实施例，传感器120、控制器140和显示器160中的每一个在下面进一步详细描述。
42.在各个实施例中，传感器阵列120包括一个或多个速度传感器122和检测传感器124。在某些实施例中，传感器阵列120还包括一个或多个其他传感器126(例如，一个或多个其他传感器126与车辆速度和路况一起用于自动制动、自动转向和/或其他车辆功能)。
43.在各个实施例中，速度传感器122测量或确定车辆100的速度或速率。例如，在某些实施例中，速度传感器122包括一个或多个车轮速度传感器、加速度计和/或其他传感器，用于测量数据以确定车辆100的速度或速率。
44.同样在各个实施例中，检测传感器124被配置为用于检测关于车辆100正在其上行驶的道路和/或路径(在本文中统称为“道路”)的一个或多个状况和/或对象。在各个实施例中，检测传感器124包括设置在车辆100上的多个雷达传感器。在某些实施例中，检测传感器124包括设置在车辆100的前保险杠上和/或附近的多个超短距离雷达(usrr)传感器。然而，在各种其他实施例中，检测传感器124的类型可以变化，并且例如可以包括一种或多种不同类型的雷达和/或一种或多种其他类型的传感器(例如，其可以包括声纳、激光雷达(lidar)、超声波、摄像机和/或其他类型的检测传感器)。类似地将理解，在不同的实施例中，检测传感器124的数量和/或位置可以变化。
45.继续参考图1，示出了根据示例性实施例的车辆的前部128的特写视图。如图1所描绘的，四个检测传感器124(例如，在一个实施例中，四个usrr传感器)沿着车辆100的前部128靠近前保险杠110设置。但是，如上所述的，在不同的实施例中，检测传感器124的数量、类型和/或位置可以变化。如图1所示，在各个实施例中，检测传感器124指向地面104，例如代表车辆100正在其上行驶的道路的一部分。
46.如图1所描绘的，控制器140包括计算机系统。在某些实施例中，控制器140还可以包括传感器阵列120(在上文中描述)，显示系统160(在下文中进一步描述)和/或一个或多个其他车辆部件。另外，将理解，控制器140可以另外不同于图1中描绘的实施例。例如，控制器140可以联接到或可以利用一个或多个远程计算机系统和/或其他控制系统，例如作为上述一种或多种车辆设备和系统的一部分。
47.在所描绘的实施例中，控制器140的计算机系统包括处理器142、存储器144、接口146、存储设备148和总线150。处理器142执行控制器140的计算和控制功能，并可以包括任何类型的处理器或多个处理器，单个集成电路(例如微处理器)或任何适当数量的集成电路设备和/或电路板，它们协同工作以完成处理单元的功能。在操作期间，处理器142执行存储器144内所包含的一个或多个程序152，并且因此通常在执行本文所述的过程(例如下面结合图2-5进一步讨论的过程200,400)时控制控制器140和控制器140的计算机系统的一般操作。
48.存储器144可以是任何类型的合适的存储器。例如，存储器144可以包括诸如sdram的各种类型的动态随机存取存储器(dram)，各种类型的静态ram(sram)以及各种类型的非易失性存储器(prom、eprom和闪存)。在某些示例中，存储器144与处理器142位于和/或共同位于同一计算机芯片上。在所描绘的实施例中，存储器144将上述程序152与一个或多个神经网络模型154(和/或在某些实施例中，一个或多个其他模型、预定阈值和/或存储的值)一起存储以根据下面结合图2-5进一步描述的过程200、400对车辆100正在其上行驶的道路的状况进行分类。
49.总线150用于在控制器140的计算机系统的各个部件之间传输程序、数据、状态和其他信息或信号。接口146允许例如从系统驱动器和/或另一个计算机系统，与控制器140的计算机系统进行通信，并且可以使用任何合适的方法和装置来实现。在一个实施例中，接口146从传感器阵列120、显示系统160、驱动系统112、制动系统114、转向系统116和/或车辆
100的一个或多个其他部件和/或系统获得各种数据。接口146可以包括一个或多个网络接口以与其他系统或部件通信。接口146可以包括一个或多个网络接口，以与技术人员进行通信；和/或一个或多个存储接口，以连接到诸如存储设备148之类的存储装置。
50.存储设备148可以是任何合适类型的存储设备，包括各种不同类型的直接访问存储装置和/或其他存储设备。在一个示例性实施例中，存储设备148包括程序产品，存储器144可以从该程序产品接收程序152，该程序152执行本公开的一个或多个过程的一个或多个实施例，例如下面结合图2-5进一步讨论的过程200、400的步骤。在另一示例性实施例中，程序产品可以直接存储在存储器144和/或一个或多个其他磁盘156和/或其他存储器设备中和/或以其他方式由其访问。
51.总线150可以是连接计算机系统和部件的任何合适的物理或逻辑装置。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。在操作期间，程序152被存储在存储器144中并且由处理器142执行。
52.应当理解，尽管在全功能计算机系统的上下文中描述了该示例性实施例，但是本领域技术人员将认识到，本公开的机制能够作为具有一种或多种类型的非暂时性计算机可读信号承载介质的程序产品来分发，所述非暂时性计算机可读信号承载介质用于存储程序及其指令并执行其分发，例如承载程序并包含存储在其中的计算机指令的非暂时性计算机可读介质，用于使计算机处理器(例如处理器142)实施和执行程序。这样的程序产品可以采取多种形式，并且本公开内容同样适用，而与用于执行分发的计算机可读信号承载介质的特定类型无关。信号承载介质的示例包括：可记录介质，例如软盘、硬盘驱动器、存储卡和光盘，以及传输介质，例如数字和模拟通信链接。将理解的是，在某些实施例中也可以利用基于云的存储和/或其他技术。类似地，将认识到，控制器140的计算机系统还可以与图1所描绘的实施例不同，例如，在于控制器140的计算机系统可以联接至或者可以以其他方式利用一个或多个远程计算机系统和/或其他控制系统。
53.在各个实施例中，图1的显示系统160联接到控制器140，并根据控制器140的处理器142提供的指令为车辆100的驾驶员和/或其他乘员提供信息。在各个实施例中，显示系统160提供关于车辆100正在其上行驶的道路的表面上的道路状况(例如“干”、“湿”或“积雪”)的信息，基于由处理器142做出的确定，提供道路的一个或更多个其他表面状况(例如，道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况)。
54.在所描绘的实施例中，显示系统160包括音频部件162和视频部件164。在各个实施例中，音频部件162基于由处理器142提供的指令和由处理器142做出的确定来提供关于道路状况的音频信息(例如，经由一个或多个车辆扬声器)。同样在某些实施例中，视频部件164基于由处理器142提供的指令和由处理器142做出的确定来提供关于道路状况的音频信息(例如，经由一个或多个车辆显示屏)。在各种其他实施例中，显示系统160还可以包括一个或多个其他部件，其例如通过以下方式向车辆的驾驶员和/或其他乘员提供一种或多种其他不同类型的通知：例如，触觉通知和/或向驾驶员的智能电话和/或其他电子设备的通知传输，以及其他可能的通知类型。
55.图2是根据示例性实施例的用于对车辆正在其上行驶的道路的道路状况进行分类的过程200的流程图。在各个实施例中，过程200可以与图1的车辆100(包括其控制系统102)连接来实现。
56.在各个实施例中，当车辆100处于操作中时，过程200在202处开始。在各个实施例中，过程200在车辆100的操作的整个持续时间内继续。
57.在各个实施例中，在204处从车辆上车载的各种传感器获得道路表面数据。具体地，在各个实施例中，从图1的各种检测传感器124确定道路表面数据。在某些实施例中，从设置在靠近图1的前保险杠110的图1的超短距离雷达传感器124获得道路表面数据。但是，在其他实施例中，在步骤204中使用的检测传感器124的类型、数量和/或位置可以变化。
58.如图2所描绘的，在各个实施例中，如在图2的步骤204的子步骤204(1)
…
204(n)中所示的，从“n”个不同的检测传感器获得道路表面数据。同样在各个实施例中，在步骤204的每个步骤204(1)
…
204(n)期间，针对每个检测传感器收集各种数据：(i)返回的能量；(ii)(x，y，z)坐标；(iii)传感器索引；(iv)多普勒；以及(v)图1的每个检测传感器124的聚类索引信息。
59.同样在各个实施例中，在步骤206处级联(concatenate)204的道路表面数据。在各个实施例中，步骤204的道路表面数据是由图1的处理器142从图1的检测传感器124获得的，并且在步骤204处由处理器针对以下方面进行级联：(i)返回的能量；(ii)(x，y，z)坐标；(iii)传感器索引；(iv)多普勒；以及(v)聚类索引信息。另外，在各个实施例中，级联数据被提供作为用于新颖输入数据形成的联合数据图的一部分，作为框212的一部分(由步骤214-222组成)，下面进一步描述。
60.另外，在各个实施例中，在步骤208获得车辆速度数据。在各个实施例中，经由图1的一个或多个速度传感器122诸如一个或多个车辆和/或车辆100的车轮速度传感器来测量车辆速度。在某些其他实施例中，可由图1的处理器142经由从图1的一个或多个速度传感器122(例如一个或多个轮速传感器、加速度计和/或其他车辆传感器)获得的数据来计算车辆速度。在利用usrr传感器数据的示例性实施例中，这样的数据可以取决于车辆速度，并且过程200利用车辆速度与道路表面图像融合以改善道路表面状况的检测和分类(例如，如根据示例性实施例在下面所述的)。在某些实施例中，可以类似地利用一个或多个其他参数，其中在步骤收集的数据(例如，包括温度、湿度和/或其他参数)也可以用于类似的融合技术。
61.在某些实施例中，然后在步骤210对车辆速度进行分类。例如，在某些实施例中，步骤208的车辆速度被分配了多个预定范围之一，对应于速度类别。例如，在一个实施例中，如下为车辆速度分配类别索引“i”的值：(i)如果车辆速度在每小时零和十英里之间(0-10英里/小时)，则类别索引“i”被分配为零(0)的值；(ii)如果车辆速度在每小时10到20英里(10-20mph)之间，则类别索引“i”被分配为一(1)的值；(iii)如果车辆速度在每小时20到30英里(20-30mph)之间，则类别索引“i”被分配为两(2)的值；以及(iv)如果车辆速度在每小时30到40英里(30-40mph)之间，则类别索引“i”被分配为三(3)的值；(v)如果车辆速度在每小时四十到五十英里(40-50mph)之间，则类别索引“i”被分配为四(4)的值，依这样的推。
62.同样在各个实施例中，车辆速度的分类被提供作为用于新颖输入数据形成的联合数据图的一部分，作为框212的一部分(由步骤214-222组成)，也将在下面描述。
63.返回参考步骤206，在各个实施例中，步骤206的级联数据提供作为用于新颖输入数据形成的联合数据图的一部分，作为图2的框212的一部分。具体地，在各个实施例中，步骤206的级联数据首先在步骤214中用于多通道图像形成。在各个实施例中，图1的处理器142利用(i)返回的能量；(ii)(x，y，z)坐标(或“z坐标”)；(iii)传感器索引；(iv)多普勒；以
及(v)对来自步骤206的级联数据的索引信息进行聚类，以形成图1的每个检测传感器124在深度维度上的多个通道之间的图像。
64.例如，在某些实施例中，在步骤214期间，处理器142利用卷积神经网络(cnn)支持深度维度上具有多个通道的图像输入，并实现基于图像的模式发现。作为继续的示例，在某些实施例中，处理器142在每个时间步提取并制定相关传感器数据(例如，来自usrr传感器和/或其他检测传感器)到具有深度的图像中，其以确定性方式建立了图像计划中传感器数据聚类的不同特性之间的关联性和相关性。
65.此外，在各个实施例中，在步骤214期间，每个数据聚类与以下每个上述因素相关联；例如，即：(i)返回能量，(ii)多普勒；(iii)(x，y，z)坐标；以及(iv)传感器索引。另外，在某些实施例中，能量值、能量分布、z值和多普勒值在不同的道路表面状况下都显示出不同的模式。例如，在某些实施例中：(i)大部分能量在湿条件下被反射掉；(ii)由于地下散射，返回的能量很好地分布在冰雪覆盖的表面上；以及(iii)在干表面上返回的能量介于这两个极端之间。另外，在某些实施例中，由于雪的高度，“z”值可以帮助将雪与其他表面区分开。此外，同样在某些实施例中，多普勒值在干表面上看起来比雪强，等等。另外，在某些实施例中，还可以使用不同的模式(pattern)来检测和分类道路的一个或多个其他表面状况，例如道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况。
66.在各个实施例中，在步骤214期间，来自各种通道215的传感器图像输入被用来生成结果图像216。参考图3，根据示例性实施例，更详细地描绘了通道215和结果图像216。在各个实施例中，每个通道215对应于不同的相应图像输入因子，包括(在示例性实施例中)：(i)返回能量，(ii)多普勒；(iii)(x，y，z)坐标(或“z坐标”)；以及(iv)传感器索引。
67.具体地，在各个实施例中，每个通道图像215可以捕获传感器数据的特性的一个方面。例如，在一个实施例中：(i)第一通道(这里也称为“红色”通道)在其(x，y)位置捕获与每个传感器数据聚类相关联的能量；(ii)第二通道(在此也称为“绿色”通道)在其(x，y)位置捕获与每个传感器数据聚类相关的z坐标；(iii)第三通道(在此也称为“蓝色”通道)捕获在其(x，y)位置与每个传感器数据聚类关联的多普勒值；以及(iv)第四通道(在此也称为“紫色”通道)捕获在其(x，y)位置与每个传感器数据聚类关联的传感器索引值。
68.在一个这样的示例性实施例中，根据以下等式(等式1)来映射在任何(x，y)位置处的返回能量值，即来自第一(或红色)通道的i(x，y)：
69.pr(x，y)＝f1(i(x，y))
70.(其中pr(x，y)代表红色通道中(x，y)位置处的像素值)，然后将其应用于第一(或红色)图像平面。
71.在某些实施例中，步骤214的通道图像形成通过根据以下等式(等式2)使用在(x，y)位置的返回能量值，即来自第一(或红色)通道的i(x，y)，并入传感器数据聚类的返回能量:
72.73.其中i
max
代表来自所有不同表面状况下的最大返回能量值。
74.同样在示例性实施例中，(x，y)位置处的z坐标值，即来自第二(或绿色)通道的z(x，y)根据以下等式(等式3)映射。
75.pg(x,y)＝f2(z(x,y)),
76.(其中pg(x，y)代表绿色通道中(x，y)位置处的像素值)，然后将其应用于第二(或绿色)图像平面。
77.在某些实施例中，步骤214的通道图像形成通过使用在(x，y)位置的z值，即来自第二(或绿色)通道的z(x，y)，根据以下等式(等式4)，并入传感器数据聚类的z值：
[0078][0079]
其中l等于z的最大绝对值。
[0080]
同样在示例性实施例中，根据以下等式(等式5)映射(x，y)位置处的多普勒值，即来自第三(或蓝色)通道的d(x，y)。
[0081]
pb(x，y)＝f3(d(x，y)),
[0082]
(其中pb(x，y)表示蓝色通道中(x，y)位置的像素值)，然后将其应用于第三(或蓝色)图像平面。
[0083]
在某些实施例中，步骤214的通道图像形成通过使用在(x，y)位置处的多普勒值，即来自第三(或蓝色)的d(x，y)，根据以下等式(等式6)，并入传感器数据聚类的多普勒值：
[0084][0085]
其中l等于多普勒值的最大绝对值。
[0086]
同样在示例性实施例中，根据以下等式(等式7)映射(x，y)位置处的传感器索引值，即来自第四(或紫色)通道的id(x，y)。
[0087]
p
p
(x，y)＝f4(id(x，y)),
[0088]
(其中p
p
(x，y)代表紫色通道中(x，y)位置的像素值)，然后将其应用于第四(或紫色)图像平面。
[0089]
在某些实施例中，步骤214的通道图像形成通过使用在(x，y)位置处的传感器索引值，即来自第四(或紫色)通道的id(x，y)，根据以下等式(等
[0090]
式8)，并入传感器数据聚类的传感器索引值：
[0091][0092]
其中，k为正增益，具有根据以下等式(等式9)的约束：
[0093]
k*max(id)≤255
[0094]
返回参考图2，在各个实施例中，在步骤218处形成速度图像通道。在各个实施例中，图1的处理器142使用步骤210的车辆速度分类生成步骤218的速度图像通道。具体地，在某些实施例中，根据以下等式(等式10)来计算速度图像通道图像：
[0095]
ps(x，y)＝k*i,
[0096]
其中，ps(x，y)表示(x，y)位置的像素值；“i”代表车辆速度类别索引；并且“k”是根据以下等式(等式11)的正增益约束:
[0097]
k*i
max
≤255
[0098]
进一步参考图2，在步骤220中将步骤214的通道图像和步骤218的速度图像通道组合以进行图像融合。在各个实施例中，步骤214的多传感器道路表面图像被标记有车辆速度信息(包括步骤210的车辆速度分类和/或步骤218的速度图像通道)以生成深度维度上的图像融合。在各个实施例中，图像融合是由图1的处理器242执行的。如图2所示，在各个实施例中，各种图像221被融合在一起以在步骤220期间生成融合图像222。
[0099]
再次参考图3，根据示例性实施例，更详细地描绘了各种通道221和所产生的融合图像222。在各个实施例中，每个速度图像被附着到一个或多个相应的道路表面图像(例如，对应于图像221)并且被融合在一起以生成如在图3中的融合图像222所描绘的深度尺寸。在各个实施例中，这种融合降低了过程200的复杂性并提高了效率和性能。此外，在各个实施例中，这种融合还有助于避免基于不同的速度范围建立不必要数量的分类模型。另外，在各个实施例中，在最早阶段考虑相关性，从而避免信息丢失。
[0100]
如本文中所描述的，在各个实施例中，融合是针对步骤214的通道图像和步骤218的速度图像通道(其基于在步骤208收集的车辆速度数据)利用的，它们在步骤220中被组合在一起以进行图像融合。然而，尽管结合车辆速度描述了本文中的融合，但是应当理解，在某些实施例中，一个或多个其他参数，例如温度、湿度和/或其他参数(例如，关于可以在步骤208中收集的附加数据，如上所述)也可以用于，替代车辆速度或除了车辆速度之外，与步骤214的通道图像的融合。
[0101]
返回参考图2，在各个实施例中，步骤220的融合图像222在步骤224与神经网络分类器结合使用(在各种迭代中)。在各个实施例中，处理器142以多次迭代利用存储在图1的存储器144中的卷积神经网络(cnn)模型154来对来自图1的多个检测传感器124的图像中描绘的道路表面进行分类。在各个实施例中，cnn模型利用了训练数据，在该训练数据中，针对道路状况将预测的真相与地面真相进行了比较。同样在各个实施例中，道路状况关于道路是“干”、“湿”和“雪”。在某些实施例中，也可以利用其他可能类型的道路表面和/或其他状况。例如，在某些实施例中，道路状况还可以包括道路的一个或多个其他表面状况，例如道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况。另外，在各个实施例中，训练数据集被用来建立混淆矩阵，该混淆矩阵利用“地面真干”、“地面真湿”和“地面真雪”的各种值与“预测干”、“预测湿”和“预测雪”值的值(和/或用于其他道路表面状况的类似比较)进行比较，用于训练cnn模型。
[0102]
在各个实施例中，步骤224的分类导致确定的道路表面类型226。具体地，在各个实施例中，确定的道路表面类型226包括确定车辆100正在其上行驶的道路的状况为以下之一：关于车辆100正在其上运行的道路的图1的地面104的“干”、“湿”或“雪”。在某些实施例
中，可以关于道路的一个或多个其他表面状况进行确定，例如道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况。例如，在某些实施例中，干道路表面可进一步分类为干沥青道路表面、干混凝土道路表面、干砾石道路表面和/或干污垢道路表面等等。在各个实施例中，由图1的处理器142使用存储在图1的存储器144中的神经网络模型(例如，cnn)来做出这些确定。
[0103]
另外，在各个实施例中，基于步骤224的分类在步骤228提供一个或多个动作。在各个实施例中，图1的处理器142基于道路表面类型226的分类，特别是关于道路表面是“干”、“湿”还是“雪”的分类，针对一个或多个车辆动作提供指令。在某些实施例中，该动作可以涉及用于道路的一个或多个其他表面状况，例如道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况。在某些实施例中，根据由处理器142提供的指令，图1的显示系统160为图1的车辆100的驾驶员和/或其他乘员提供关于道路表面类型226的一个或多个音频、视觉、触觉、电子消息和/或其他通知。
[0104]
另外，在某些实施例中，还可以基于处理器142提供的指令、基于道路表面类型126来自动地实现和/或调整车辆运动的控制。例如，在某些实施例中，根据由处理器142提供的指令，可以至少部分地基于道路表面类型126来实现自动制动、自动转向和/或一种或多种其他车辆功能。通过继续的示例，一种或多种自动制动阈值和/或自动转向阈值(例如，关于到对象的距离或到对象的时间，等等)可以基于道路表面类型126等来调整。另外，在某些实施例中，一个或多个其他自动驾驶动作还可以经由处理器142提供的指令来自动执行，例如(作为示例)修改所选的行驶路线，改变一个或多个其他驾驶参数、模式和/或阈值(例如，通过自动调整车辆的速度、自动调整用于跟随领先车辆的阈值距离和/或一种或多种用于控制车辆100的运动的动作，例如在自主或自动驾驶车辆等的情况下)。在某些实施例中，过程200然后在230处终止。
[0105]
图4是根据示例性实施例的用于对车辆正在其上行驶的道路的道路状况进行分类的替代过程400的流程图。在各个实施例中，根据示例性实施例，可结合图1的车辆100和控制系统102来实施替代过程400。
[0106]
在各个实施例中，当车辆100处于操作中时，过程400在402处开始。在各个实施例中，过程400在车辆100的操作的整个持续时间内继续。
[0107]
在各个实施例中，在404处从车辆车载的各种传感器获得道路表面数据。具体地，在各个实施例中，以类似于上述图2的过程200的步骤204的方式，从图1的各种检测传感器124确定道路表面数据。
[0108]
同样在各个实施例中，在步骤406处对404的道路表面数据进行级联。在各个实施例中，以类似于上述图2的过程200的步骤206的方式，步骤404的道路表面数据由图1的处理器142从图1的检测传感器124获得，并且在步骤404由处理器针对以下情况进行级联：(i)返回的能量；(ii)(x，y，z)坐标；(iii)传感器索引；(iv)多普勒；(v)聚类索引信息。
[0109]
另外，在各个实施例中，在步骤408获得车辆速度数据。在各个实施例中，以类似于上述图2的过程200的步骤208的方式，从图1的一个或多个速度传感器122的传感器值测量和/或确定车辆速度。与以上结合步骤208的讨论类似，在某些实施例中，还可以关于一个或多个其他参数，例如温度和/或湿度(作为示例)，获得传感器数据。
[0110]
在某些实施例中，然后在步骤410处对车辆速度进行分类。例如，在某些实施例中，
以类似于上述图2的过程200的步骤210的方式，步骤408的车辆速度被分配多个预定范围(对应于速度类别)之一。
[0111]
返回参考步骤406，在各个实施例中，在步骤414中将步骤406的级联数据用于多通道图像形成。在各个实施例中，以类似于上述图2的过程200的步骤214的方式，图1的处理器142利用(i)返回的能量；(ii)(x，y，z)坐标；(iii)传感器索引；(iv)多普勒；以及(v)来自于步骤406的级联数据的聚类索引信息，以形成图1的每个检测传感器124在深度维度上的多个通道之间的图像。例如，在某些实施例中，在步骤414期间，以与上述图2的过程200的步骤214类似的方式，利用来自各种通道415的传感器图像输入来生成所得图像416。
[0112]
另外，在图4的替代过程400的各个实施例中，在步骤418提取特征。在各个实施例中，经由图1的处理器142使用存储在图1的存储器144中的神经网络模型154(例如cnn)，从步骤414的所得图像416提取特征。
[0113]
同样在图4的替代过程400的各个实施例中，在步骤420执行特征级融合。在各个实施例中，图1的处理器142结合步骤410的车辆速度分类(并且在某些实施例中，关于其他参数，例如温度和/或湿度，类似于上面关于图2的步骤220的讨论)，针对步骤418的提取特征执行特征级融合。
[0114]
另外，在各个实施例中，在步骤424中进行分类。在各个实施例中，图1的处理器124基于步骤420的特征级融合的结果，使用在多个迭代中存储在图1的存储器144中的卷积神经网络(cnn)模型154，生成在步骤424处的关于道路状况的分类，以对来自图1的多个检测传感器124的图像中所描绘的道路表面进行分类。在各个实施例中，cnn模型利用训练数据，在该训练数据中，针对道路状况将预测的真值与地面真值(truth)进行比较。同样在各个实施例中，道路状况针对道路是“干”、“湿”和“雪”。在某些实施例中，神经网络模型还可用于预测道路的一个或多个其他表面状况，例如道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况。在各个实施例中，与现有技术相比，本文公开的算法和技术以高准确度检测道路状况(例如，干、湿、雪，并且在某些实施例中其他道路表面状况)。
[0115]
在各个实施例中，步骤424的分类导致确定的道路表面类型426。具体地，在各个实施例中，所确定的道路表面类型426包括确定车辆100正在其上行驶的道路的状况为以下之一：关于车辆100正在其上运行的图1的地面104的“干”、“湿”或“雪”之一。在某些实施例中，可以类似地针对道路的一个或多个其他表面状况进行确定，例如道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况。例如，在某些实施例中，干道路表面可进一步分类为干沥青道路表面、干混凝土道路表面、干砾石道路表面和/或干污垢道路表面等等。在各个实施例中，由图1的处理器142使用存储在图1的存储器144中的神经网络模型(例如，cnn)来做出这些确定。
[0116]
另外，在各个实施例中，基于步骤424的分类在步骤428提供一个或多个动作。类似于以上关于图2的过程200的步骤228的讨论，在各个实施例中，图1的处理器142基于道路表面类型426的分类，具体地，关于道路表面是分类为“干”、“湿”还是“雪”，提供针对一个或多个车辆动作的指令。在某些实施例中，动作还可以基于道路的一个或多个其他表面状况，例如道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况。在某些实施例中，根据由处理器142提供的指令，由图1的显示系统160向图1的车辆100的驾驶员和/或其他乘员提供关于道路表面类型426的一个或多个音频、视觉、触觉、电子消息和/或其他通
知。
[0117]
另外，在某些实施例中，也类似于以上关于图2的过程200的讨论，车辆运动的控制也可以基于道路表面类型426、基于由处理器142提供的指令，自动地实现和/或调整。例如，在某些实施例中，可以根据由车辆142提供的指令至少部分地基于道路表面类型426来实现自动制动、自动转向和/或一个或多个其他车辆功能。作为继续的示例，可以基于道路表面类型126等来调整一个或多个自动制动阈值和/或自动转向阈值(例如，关于到对象的距离或到对象的时间等)。另外，在某些实施例中，还可以经由处理器142提供的指令，例如(作为示例)修改所选的行驶路线，改变一个或多个其他驾驶参数、模式和/或阈值(例如，通过自动调整车辆的速度、自动调整用于跟随领先车辆的阈值距离和/或一种或多种用于控制车辆100的运动的动作，例如在自主或自动驾驶汽车的情况下等)，来自动执行一个或多个其他自动驾驶动作。在某些实施例中，过程400然后在430处终止。
[0118]
图5提供了根据示例性实施例的如经由图2的过程200和/或图4的替代过程400确定的不同道路状况的传感器生成的图像的描绘。如图5所示，在示例性实施例中，为雪覆盖的道路表面提供了第一示例性图像510，在该积雪的道路表面中存在实质性的地下散射，并且其中相对大量的信号由于地下散射而返回车辆100。同样如图5所描绘的，根据示例性实施例，提供了湿道路表面的第二示例性图像520，其中大部分传感器信号被反射远离车辆100。最后，同样如图5所描绘的，根据示例性实施例，提供了干道路表面的第三示例性图像530。
[0119]
如图5所示，在干的道路表面上，传感器信号的散射介于雪图像和湿表面图像中的散射水平之间。具体地，在某些实施例中，对于干的表面，中间量的传感器信号以介于雪覆盖的表面和湿的表面的反射率之间的反射率从车辆反射离开。因此，在某些实施例中：(i)具有雪覆盖的表面的道路以第一速率将传感器信号反射离开车辆100。(ii)具有湿表面的道路以大于第一速率的第二速率将传感器信号反射离开车辆100；以及(iii)具有干表面的道路以大于雪覆盖表面的第一速率并且小于湿表面的第三速率将传感器信号反射离开车辆100。另外，如上所述，在某些实施例中，可以类似地结合道路的一个或多个其他表面状况，例如，道路表面是否包括沥青、混凝土、砾石、污垢等，以及其他可能的表面状况，来实施这些过程。
[0120]
因此，提供了用于对车辆正在其上行驶的道路的状况进行分类的系统、方法和车辆。在某些实施例中，利用来自车辆车载的多个检测传感器的数据以及卷积神经网络，将道路表面分类为湿、干或雪覆盖的。同样在各个实施例中，道路表面的分类可以用于实施一种或多种车辆动作，例如一种或多种驾驶员通知和/或其他车辆控制动作。
[0121]
应当认识到，系统、车辆、方法、应用和实施方式可以与附图中所描绘的和本文所描述的那些不同。例如，在各个实施例中，车辆100、控制系统102和/或其各种部件和/或其他部件可以与图1中所描绘的那些部件不同。将类似地认识到，过程200、400的步骤可以不同，和/或其各个步骤可以同时地执行和/或以与图2和/或图4中所描绘的和/或以上所描述的不同的顺序执行。同样应当认识到，图3和图5的实施方式也可以在不同的实施例中变化。
[0122]
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个
或多个示例性实施例的便利路线图。应当理解，在不脱离如本技术及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。