道路上交通对象的车道分配的制作方法

本发明涉及用于将道路上的至少一个路侧交通对象分配给道路的一个或多个车道的方法和系统。更具体地，本公开的实施例和方面涉及将在道路上行驶的存在于自主车辆的周围环境中的交通对象与道路的一个或多个车道中的车道相关联，以及为机器学习算法生成训练数据，用于将交通对象与道路的一个或多个车道中的车道相关联。

背景技术：

1、在过去几年期间，与自动驾驶车辆相关的研究和开发活动数量激增，并且正在探索多种不同的方法。越来越多的现代车辆具有先进的驾驶者辅助系统(adas)，以提高车辆安全性以及更普遍的道路安全性。adas-例如可以由自适应巡航控制(acc)碰撞避免系统、前向碰撞警告等来表示-是可以在驾驶时帮助车辆驾驶者的电子系统。现今，在与adas和自动驾驶(ad)领域相关的多种技术领域中都存在持续的研究和开发。adas和ad在本文中将被称为通用术语自动驾驶系统(ads)，与所有不同的自动化等级相对应，例如由sae j3016驾驶自动化等级(0-5)，特别是等级4和5定义的等级。

2、在不久的将来，ads解决方案预期将应用于市场上投放的大多数新车。ads可以被解释为各种部件的复杂组合，该部件可以被定义为由电子装置和机器代替人类驾驶者或与人类驾驶者协同执行车辆感知、决策和操作的系统，以及将自动化引入道路交通的系统。这包括对车辆、目的地的操控，以及对周围环境的感知。虽然自动化系统可以控制车辆，但它允许人类操作者将所有或至少部分职责交给系统。ads通常结合各种传感器来感知车辆的周围环境，诸如例如雷达、激光雷达、声纳、相机、导航系统(例如gps、里程表和/或惯性测量单元(imu))，在此基础上，高级控制系统可以解释传感信息以识别适当的导航路径以及障碍物、

3、自由空间区域和/或相关标志。

4、自动和半自动车辆必须识别路侧交通对象，诸如道路上的交通标志，并进一步向车辆的控制操作者提供识别的交通对象的定义和相关信息。例如，道路上当前限速的准确知识和各种限速交通标志的定义是在道路上安全和不受干扰地操纵车辆所需的信息之一。即使可以利用当前可用的技术来检测交通对象，仍然存在要解决的难题，即确定特定的交通对象是属于车辆行驶的特定车道还是道路。当考虑到多个道路彼此相邻、每个道路都有多个车道或在不同道路交叉的情况下，这个问题会成倍增长。目前，解决上述问题严重依赖于基于复杂逻辑的解决方案。

5、因此，本领域迫切需要新的和改进的解决方案，以较高的精度和速度识别和分配道路上的各种交通对象。

技术实现思路

1、因此，本发明的一目的是提供系统、包括该系统的车辆、方法和计算机可读存储介质，以减轻目前已知解决方案的全部或至少部分缺陷。

2、更具体地，本发明的目的是缓解与道路上和在道路上行驶的车辆的周围环境中的路侧交通对象与特定道路的一个或多个车道中的特定车道的关联相关的问题。

3、这些目的通过所附独立权利要求中定义的系统、包含该控制系统的车辆、方法和计算机可读存储介质实现。术语“示例性的”在本上下文中被理解为用作实例、示例或说明。

4、根据本发明的第一方面，提供了生成用于机器学习ml算法的训练数据的方法，该ml算法被配置成将具有一个或多个车道的道路上的至少一个路侧交通对象分配给一个或多个车道中的车道。

5、方法包括从包括自动驾驶系统ads并在道路上行驶的自主车辆的传感器系统获取传感器数据，该传感器数据包括由车载相机拍摄的自主车辆的周围环境的一个或多个图像。方法进一步包括基于所获取的传感器数据，识别自主车辆的周围环境中的至少一个路侧交通对象。此外，该方法包括基于所获取的传感器数据，确定在自主车辆和/或至少一个外部车辆行驶的相应车道上，自主车辆和/或存在于自主车辆的周围环境中的至少一个外部车辆的驾驶行为的变化。传感器数据包括指示自主车辆和/或至少一个外部车辆的速度的信息。驾驶行为的变化与至少一个所识别的路侧交通对象的意义相关联。该方法进一步包括确定至少一个路侧交通对象的识别和自主车辆和/或至少一个外部车辆的驾驶行为变化的确定同时发生。在这种同时发生的情况下，即如果同时发生被确定，则该方法进一步包括为至少一个所识别的路侧交通对象的一个或多个所获取的图像生成相应的图像注释，以指示至少一个所识别的路侧交通对象与一个或多个车道中的与自主车辆1和/或至少一个外部车辆的驾驶行为的所确定的变化相关联的那个车道的关联。该方法进一步包括至少基于所获取的至少一个所识别的路侧交通对象的一个或多个图像以及至少一个交通对象的所生成的图像注释来形成用于ml算法的训练数据集。

6、当涉及自动驾驶车辆时，对道路上交通对象的准确识别和车道分配非常重要，以便在不危及车辆乘员或外部对象的情况下做出安全决策，尤其是在使用自动驾驶功能时。在本上下文中，交通对象的车道分配或车道关联是指识别路侧交通对象，并准确地将所识别的交通对象分配给道路的一个或多个车道中的一个特定车道，车辆即自主车辆行驶在该道路上。附加地或替代地，所识别的交通对象可以被分配给多个道路中的一个特定道路或该道路的特定车道。所识别的至少一个交通对象可以被分配给自主车辆的车道，也称为自主车道，其被解释为自主车辆行驶的车道。基于观察在其各自车道上行驶的一个或多个外部车辆的行为，所识别的至少一个交通对象可以替代地或附加地被分配给道路的一个或多个车道中的与自主车道不同的另一个车道。

7、因此，发明人已认识到，通过使用包括使用ml算法的数据驱动方法，可以在识别和关联路侧交通对象及其各自车道时实现准确性、可扩展性、速度和再现性。与任何基于规则的方法或任何基于人类直觉的算法相比，本公开的数据驱动方法也更容易维护。此外，即使基于规则的方法可能能够确定一些简单的交通对象并将其分配给特定的车道，但是它们通常是脆弱的、难以维护的，并且在涉及更复杂的环境条件和交通状况的真实世界场景中有所欠缺。因此，通过训练和应用根据本公开的实施例的机器学习算法，提供了用于识别路侧交通对象并将其关联到一个或多个道路的多个车道中它们各自的车道的高效且准确的方法。

8、此外，所提出的解决方案的多功能性使得所提出的方法和相应的系统和车辆易于适应不同国家的不同交通状况或道路和运输基础设施。

9、根据一些实施例，方法可以进一步包括获取与至少一个所识别的交通对象相关的信息，该信息指示至少一个所识别的路侧交通对象的地理位置和方向。该方法可以进一步包括基于所获取的传感器数据和/或所获取的道路的地图数据，获取道路的几何形状，包括一个或多个车道的数量以及道路的一个或多个车道中的每个车道的地理位置和方向。因此，该方法可以进一步包括进一步基于与至少一个所识别的交通对象相关联的所获取的信息和/或所获取的道路的几何形状，生成对应的图像注释和/或形成用于ml算法的训练数据集。

10、在一些实施例中，该方法可以进一步包括将所形成的训练数据集传输到远程服务器，用于集中训练ml算法。

11、更进一步地，在一些实施例中，该方法可以进一步包括通过基于所形成的训练数据集更新ml算法的一个或多个模型参数，在自主车辆中执行的去中心化联邦学习(decentralized federated learning)设置中训练ml算法。

12、因此，该方法可以进一步包括将ml算法的一个或多个更新的模型参数传输到远程服务器，并从远程服务器接收ml算法的一组全局更新的模型参数，其中，所述一组全局更新的参数基于从多个自主车辆获取的包括ml算法的一个或多个更新的模型参数的信息。该方法可以进一步包括基于接收到的一组全局更新的模型参数来更新ml算法。

13、在一些实施例中，ml算法的训练数据集可以基于在单个时间戳处获得的单个训练数据点形成，或作为在多个时间戳处获得的一系列训练数据点形成。

14、根据本发明的第二方面，提供了存储一个或多个程序的(非暂时性)计算机可读存储介质，该一个或多个程序被配置成由处理系统的一个或多个处理器执行，该一个或多个程序包括用于执行根据本文公开的方法的任一实施例的方法的指令。

15、如本文使用的术语“非暂时性”旨在描述不包括传播电磁信号的计算机可读存储介质(或“存储器”)，但并不旨在以其他方式限制词语“计算机可读介质或存储器”所涵盖的物理计算机可读存储装置的类型。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在涵盖不一定永久存储信息的存储装置类型，包括例如随机存取存储器(ram)。以非暂时形式存储在有形计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质或信号(例如电气、电磁或数字信号)来传输，这些信号可以经由通信介质(诸如网络和/或无线链路)来传送。因此，本文使用的术语“非暂时性”是对介质本身的限制(即有形的，而不是信号)，而不是对数据存储持久性的限制(例如，ram还是rom)。

16、根据本发明的第三方面，提供了包含指令的计算机程序产品，当程序由处理系统的一个或多个处理器执行时，该指令使处理系统执行根据本文公开的方法的任一实施例的方法。

17、根据另一第四方面，提供了生成用于机器学习ml算法的训练数据的系统，该ml算法被配置成将具有一个或多个车道的道路上的至少一个路侧交通对象分配给一个或多个车道中的车道。该系统包括处理电路，该处理电路被配置成从包括自动驾驶系统ads并在道路上行驶的自主车辆的传感器系统获取传感器数据，该传感器数据包括由车载相机捕获的自主车辆的周围环境的一个或多个图像。处理电路进一步被配置成基于所获取的传感器数据来识别自主车辆的周围环境中的至少一个路侧交通对象。此外，处理电路被配置成基于所获取的传感器数据确定在自主车辆和/或至少一个外部车辆行驶的相应车道上自主车辆和/或存在于自主车辆的周围环境中的至少一个外部车辆的驾驶行为的变化，其中，传感器数据包括指示自主车辆和/或至少一个外部车辆的速度的信息。驾驶行为的变化与至少一个所识别的路侧交通对象的意义相关联。处理电路被配置成确定至少一个路侧交通对象的识别和自主车辆和/或至少一个外部车辆的驾驶行为变化的确定同时发生。如果同时发生被确定，则处理电路进一步被配置成为至少一个所识别的路侧交通对象的一个或多个所获取的图像生成相应的图像注释，以指示至少一个所识别的路侧交通对象与一个或多个车道中的与自主车辆和/或至少一条外部车辆的驾驶行为的所确定的变化相关联的那个车道的关联。处理电路进一步被配置成至少基于至少一个所识别的路侧交通对象的一个或多个所获取的图像和生成的至少一个交通对象的所图像注释来形成用于ml算法的训练数据集。

18、根据又一第五方面，提供了车辆，包括一个或多个车载传感器，用于监视车辆的周围环境。该车辆进一步包括定位系统，该定位系统被配置成监视车辆的姿态，即地理位置和车辆在道路上的前进方向。该车辆进一步包括根据第四方面和第四方面的各种实施例的系统。车辆可以进一步包括用于控制车辆的加速、转向和制动中的一个或多个的ads系统。

19、不同方面的其他实施例在从属权利要求中定义。

20、应当注意，与第一方面相关的所有实施例、要素、特征和优点同样适用于本发明的第二、第三、第四和第五方面。

21、本发明的以上和其他特征和优点将在以下详细说明中进一步阐明。