用于确定移动式装置的任务规划的方法与流程

本发明涉及用于确定移动式装置的任务规划的方法、用于执行该方法的计算单元和计算机程序以及移动式装置。

背景技术：

1、在不同领域中，使用到移动式装置，特别是机器人、无人机或至少部分自动化运动的运输工具，例如所谓的agv(“automated guided vehicles(自动导引车辆)”)。例如，可以在诸如工厂大厅这样的环境中使用大量这样的移动式装置。

技术实现思路

1、根据本发明，提出了具有独立专利权利要求的特征的用于确定移动式装置的任务规划的方法、用于执行该方法的计算单元和计算机程序以及移动式装置。有利的设计方案是从属权利要求和以下描述的主题。

2、本发明涉及移动式装置，特别是机器人、无人机或至少部分自动化运动的运输工具，例如所谓的agv(“自动导引车辆”)以及诸如工厂大厅这样的环境中对大量这样的移动式装置的使用。通常，此类移动式装置能够在环境中辨别方位(orientieren sich)并在那里导航，即独立地遵循预给定的运动路径。为此，移动式装置可以例如具有合适的传感机构，例如激光雷达和/或摄像机，以及相应的驱动单元。

3、这种移动式装置(或者也称为移动式工作装置)的示例一般来说例如是机器人和/或无人机和/或也可以是半自动或(完全)自动地(在陆地、水上或空中)运动的运输工具。作为机器人例如可考虑家用机器人，例如吸尘和/或扫地机器人、地面或道路清洁设备或割草机器人，但也可以考虑其他的所谓服务机器人，作为至少部分自动运动的运输工具，例如客运运输工具或货运运输工具(也即，所谓的陆地运输车，例如在仓库中)，还可以是飞机，例如所谓的无人机，或者是船舶。自主行驶或自动行驶的载客汽车或载货汽车也可以被视为移动式装置。

4、可以为这样的移动式装置确定或预给定任务规划。这里可以使用各种装置和/或环境信息，即特别是移动式装置(在环境中)的当前位置和/或取向，以及环境和/或任务描述，特别是编程上的环境和/或任务的描述，所述描述带有对环境的知识(“领域知识(domain knowledge)”)。另外，可以提供或预给定移动式装置应当在环境中执行的一个或多个动作(或任务)。这样的动作可以是，例如，移动式装置应该在特定位置被装载(beladen)或卸载或者应该执行另一活动，例如简单地等待特定时间。例如，在这里可以产生针对稍后运动的时间规范(vorgabe)。

5、可以使用已经提到的传感机构来确定移动式装置的当前位置和/或取向以及例如障碍物的位置。例如，可以预给定环境描述，其中包含例如路径和(静态障碍物)以及可能的目的地所在的位置。

6、例如，这些动作可以以自动化的方式和/或由用户根据当前需求而预给定；例如，这可能取决于移动式装置的当前使用。例如，可以规定：移动式装置在位置a拾取第一部件，将其带到b，在那里卸载，然后在c拾取第二部件。基于特定动作(或多个任务)并通过考虑装置和/或环境信息、可能还特别是通过考虑环境描述，可以确定任务或动作规划，其包括所提到的一个或多个动作，还可能具有时间分量。在此情况下，也可以论及任务规划器。对此应该提到的是，可以考虑来自其他移动式装置的另外的动作；例如，可以根据情况而定将所期望的动作分配给其中一个或其中另一个移动式装置

7、例如，基于本身相当抽象的任务规划(或导航规划)，然后可以确定运动规划，移动式装置随后应根据该运动规划随环境运动。特别是，运动规划在此情况下可以包括运动路径，特别是也包括轨迹，移动式装置应当沿着该运动路径在环境中运动。虽然运动路径通常仅包括移动式装置应沿着其运动的路径，但是轨迹还可以包括速度和可能包括加速度，移动式装置应根据所述速度和加速度沿着运动路径运动。另外，运动规划还可以包括时间规范，例如关于移动式装置应该何时在哪里和/或在哪里多长时间的说明数据。除了运动路径或轨迹本身之外，通常还期望移动式装置尽可能快地到达该环境中的预给定目的地。在运动规划的上下文中，代替移动式装置而经常述及的是代理。

8、基于移动式装置的当前位置和/或取向，可以预测环境中将发生什么。然后可以确定任务规划并因此也确定运动规划，并且确切地说如此进行确定，使得移动式装置可以执行所述一个或多个动作。因此例如确保：该移动式装置也能够到达特定位置。对任务规划的确定因此特别是还包括：确定运动规划，或者可以基于任务规划来确定运动规划；在此，这也基于装置和/或环境信息而进行。在此情况下，通常也论及所谓的运动规划器。在此情况下，例如，可以使用优化或优化方法，利用所述方法来找到运动路径，移动式装置可以利用所述运动路径而最快地执行预给定动作。

9、然后可以使得所述移动式装置根据任务规划或者特别是根据(从中确定的)运动规划或运动路径、特别是轨迹而运动。对此，特别是，基于所述任务规划或运动规划或运动路径，可以确定针对该移动式装置的运动控制变量，所述运动控制变量然后被提供和/或然后基于所述运动控制变量而使该移动式装置运动，从而使该移动式装置遵循所述运动路径。

10、然而，正如已经示出的，在任务或运动以及路径规划(确定任务或运动规划)中，在动态环境的情况下存在特殊的挑战，在所述动态环境中，除所述移动式装置之外的其他实体也在运动。这对于作为实体的人来说尤其适用，例如与其他移动式装置不同的是，这些人的运动通常是不可预先确定的，而所述移动式装置的任务规划则同样是可以被规划的。不考虑此类动态部分而仅假设静态环境的方法几乎不适合于此，即使其通常允许提前很长时间进行规划(“长期视野(long-term horizon)”)。

11、进一步地，现在作为装置和/或环境信息而使用运动图(bewegungskarte)，该运动图具有有关于与该移动式装置不同的实体、特别是人的运动的运动信息。在确定任务规划以及必要时也确定运动路径时，于是也会考虑这些信息。这样的运动信息在此特别是可以包括人的速度ρ、方向角θ、运动概率p和观测比例()q(即，在特定位置是否会有人)。例如，可以为环境(或环境中至少移动式装置可以在其中运动的那些区域)中多个小区中的每一个提供这些信息。

12、为了获得这样的运动图，特别可以使用环境模型，通过该环境模型从所提供的数据集中提取实体(例如人流)的运动模式。例如，这样的数据集可以根据对该环境或类似环境的长期观测来生成。使用环境模型，所述环境、并且确切地说特别是以2d的方式可以被离散化(diskretisieren)为所提到的单元(或网格单元)，从而随后可以将运动信息分配到那里。对此，例如，在“kucner、tomasz piotr等人的《enabling flow awareness for mobilerobots in partially observable environments》。ieee robotics and automationletters 2.2(2017):1093-1100页”中可使用所建议的方法。所述运动图于是尤其是所谓的cliff图。

13、但是，运动图特别是还可以被表示或用作具有节点和边的图形(或网格图形)。例如，图形中的每个节点表示网格单元的中心。各个节点之间的边特别是双向的，这意味着穿过人流的成本wedge在每个方向上是不同的或可以是不同的。每条边的权重可以计算为步成本(schrittkosten)cp与穿过人流的成本进入这两个特定网格单元的成本cflow的加权和。穿过人流的成本还可能与在移动式装置(“agent(代理)”)与人流方向之间的相对角度θ、人流速度ρ、运动概率p和观测比例q相关联，如下面方程式所示：

14、wedge＝w1cstep+w2cflow＝w1cstep+w2[cos(θ-θagent)·ρ·p·q]。

15、特别地，环境地图或图形可以存储在环境模型中，以便(在成本函数的意义上)获得实际奖励，当移动式装置(代理)与环境交互时，例如当移动式装置从一个节点运动到另一个节点运动时，产生的成本是沿运动方向经过(abfahren)的所有边的权重之和。

16、考虑到所需的计算耗费，基于2d图而创建长期任务规划并因此创建运动规划(其与地图一样，可以是2d形式)可能是非常低效的。在一个实施例中，经缩减的(reduziert)运动图因此被用作用于确定任务以及(可能的)运动规划的运动图。所述经缩减的运动图可以根据更高级别的运动图来确定或创建(其本身可以看起来像上面一般描述的运动图)。如果所述更高级别的运动图用作具有节点和边的图形，则这也可以适用于经缩减的运动图。

17、如所提到的，运动图可以针对环境中的不同位置(例如，分别在所提到的单元或节点处)而包括对应运动信息。这样的位置的数量应当被减少到第一数量，而更高级别的运动图则包括具有运动信息的第二数量的位置，其中第二数量大于或者甚至明显大于第一数量。

18、经缩小的运动图或对应图形中的位置在此例如包括仅特定的预给定的取向点(orientierungspunkt)；例如，取向点可以是针对移动式装置的装配位置、部件架或装载或卸载点等。经缩减的运动图或对应图表可以用于确定针对移动式装置的任务规划和/或运动规划，其中然后考虑取向点。(经缩减的)图形的每条边在此尤其也是双向的，并且显示出基于2d图形的两个对应节点的成本(即，横穿人流的成本和距离)。

19、在一个实施例中，通过使用机器学习算法、特别是强化学习(或加强学习)来确定任务规划。进一步特别地，所述强化学习是分层强化学习(英文：“hierarchicalreinforcement learning”)。

20、在强化学习中，通常创建一系列动作以实现任务目标，即，针对移动式装置而预给定的动作，特别是也包括其间的运动，被创建为序列。相反，在分层强化学习中，任务目标被分解为多个选项或分层，例如，在第一分层层级上，于是例如考虑部件运输的顺序，在第二分层层级上，例如考虑部件的提取或运输回到装配区。每个分层层级或选项或子选项在此可以表示一个最低限度的(minimalistisch)任务，并且然后可以被组合成一个小的动作序列(第三分层层级)。这使得计算特别高效且快速。

21、例如，分层强化学习可以基于dyna-q。dyna-q是一种概念算法，其说明了在创建方针(或行动方案)时如何将真实体验和模拟体验结合起来。

22、所提出的方法允许高层级上的任务和运动规划，其中所述高层级主要集成到整个自主系统的规划层级中。例如，人的运动模式用作预测信息，并作为针对任务规划管道的输入而提供，所述任务规划管道然后将任务规划输出到运动规划器以计算针对该移动式装置的运动轨迹。

23、例如，本发明于是可以应用在工厂场景中来执行电动自行车装配任务，在所述任务中，移动式装置从不同的地点收集电动自行车的不同部件，即方向盘、后轮、车架、电池和车座。并把它们相继带到装配区域，而在此期间并不与工厂内人流相对而行驶。

24、任务规划也可以一次又一次地被重新确定；例如，这可以根据触发标准而定来进行，例如在自上次确定任务规划以来已经过去了预给定时间段(例如，10秒或1分钟)的情况下，在运动图中存在变化的情况下，或者在所述一个或多个动作中存在变化的情况下(例如，因为移动式装置现在应该执行其他的或进一步的动作)。

25、根据本发明的计算单元，例如控制装置或移动式装置的控制单元，或者服务器或其他计算机，特别是在编程上被设立为执行根据本发明的方法。

26、本发明还涉及一种移动式装置，例如机器人、无人机或至少部分自动化运动的运输工具(例如agv)，其被设立为获得任务或运动规划或运动控制变量。所述移动式装置于是具有驱动系统和用于基于任务或运动规划和/或运动控制变量来操控驱动系统的控制或调节单元。移动式装置还可以具有根据本发明的计算单元，即可以在移动式装置或其计算单元上适配所述运动规划。然而，也适宜的是，运动规划的适配在更高级别的计算单元上、例如服务器或所谓的云中进行，移动式装置随后从那里获得任务或运动规划或运动控制变量。

27、以具有用于执行所有方法步骤的程序代码的计算机程序或计算机程序产品的形式实现根据本发明的方法也是有利的，因为这导致特别低的成本，特别是在进行执行的控制装置还用于其他任务并且因此无论如何都存在的情况下。最终，设置具有在其上存储有上述计算机程序的机器可读存储介质。用于提供所述计算机程序的适合的存储介质或数据载体特别是磁的、光的和电的存储器，例如硬盘、闪存、eeprom、dvd等。还可以通过计算机网络(互联网、内联网等)下载程序。这样的下载在此可以有线的方式或者说线缆连接的方式或者以无线的方式(例如，通过wlan网络、3g、4g、5g或6g连接等)来进行。