用于使用语义信息确定移动装置的运动路径的方法、计算单元和计算机程序与流程

本发明涉及一种用于使用语义信息确定运动路径的方法以及用于执行该方法的计算单元、移动装置和计算机程序，其中移动装置、特别是机器人、无人机或至少部分自动运动的运输工具应在环境中沿着该运动路径来运动。

背景技术：

1、诸如机器人或至少部分自动运动的运输工具这样的移动装置通常在诸如住宅、花园或街道、空中或水中这样的环境中沿着运动路径来运动。为此，例如这样规划或确定运动路径，使得在要达到所确定的目的地的情况下运动路径尽可能短。在此，应考虑环境中的障碍物或对象。

技术实现思路

1、根据本发明，提出了一种具有独立专利权利要求的特征的用于确定移动装置的运动路径的方法以及用于执行该方法的计算单元、移动装置和计算机程序。有利的设计方案是从属权利要求和以下描述的主题。

2、本发明涉及在环境中沿着所确定的运动路径运动或应运动的移动装置。此类移动装置的示例例如是：机器人和/或无人机和/或以部分自动或(完全)自动方式(在陆地、水上或空中)运动的运输工具。作为机器人例如考虑家用机器人，诸如吸尘和/或拖地机器人、地板清洁装置或街道清洁装置或割草机器人，但是也考虑其他所谓的服务机器人，作为至少部分自动运动的运输工具，例如客运运输工具或货运运输工具(也称为所谓的地面运输工具，例如在仓库中)，但是还考虑到空中运输工具、例如所谓的无人机，或者水中运输工具。

3、本发明在该上下文中涉及的一个特定方面是语义信息。人们通常在环境中导航或运动，而不依赖于其环境的显式且准确的几何表示。相反，他们利用语义上下文，也就是说，人会使自己的行为适应于其遇到的障碍类型，其了解自己所行走的表面的类型，并且会辨认门、出口和其他人以及利用现有的语义关系。

4、所谓的深度学习技术现在起还可以将语义信息实时用于大量机器人应用，包括导航在内。然而，准确且可靠的语义导航(这包括确定运动路径在内)是很困难的。例如，经典的规划方法可以使用语义知识，以便在混乱的房间中找到对象或在先前未探索的环境中导航到所确定的房间。越来越感兴趣的是将深度学习框架与强化学习或规划算法相结合来执行各种下游任务的方法，例如探索和寻找所需的房间或对象、导航到目的地、解决复杂的任务，例如寻找对象并带到另一个房间中。

5、然而，迄今为止的不使用语义信息的机器人导航方法则需要大量的注释工作量，以便描述针对导航的环境中的感兴趣的点或区域(points/regions ofinterest)(例如，可能的对接站或充电站、可能的目的地、环境地图或要追踪的路径)，从而使机器人可以识别它们。

6、相反，语义知识或语义信息则可被用于执行导航任务，特别是在机器人或其他移动装置的情况下执行导航任务，从而不需要手动标记(annotationen(注释))。例如，由此可以简单地提供机器人或其他移动装置应该到达的期望目的地或期望目的地区域的图像(视觉导航)。

7、在本发明的范畴内，现在提出了语义感知的方法，其中可以为移动装置规划复杂的行为方式，而不需要对环境的显式几何认识。例如，机器人或其他移动装置的用户不需要进行昂贵的培训或对兴趣点加以标记。

8、相应的方法在此用于确定移动装置(特别是机器人和/或无人机和/或至少部分自动运动的运输工具)在环境中应当沿其运动的运动路径。该方法例如可以在移动装置的计算单元(例如控制装置)上执行。该方法在此包括以下步骤：提供移动装置应当运动到的目的地。例如，移动装置的用户可以例如经由语音识别或经由通过应用程序进行的文本输入来将目的地告知给移动装置。例如，用户可以告知：移动装置运动到客厅中和并且到达那里的地毯(如果移动装置例如是吸尘器机器人的话)。移动装置要运动到的目的地在此可以特别地以可语义表示的形式来被提供或获得，即，不必提供目的地在环境中的坐标，而是可以例如使用简单的语言。然而，还可以设想的是，例如以图像的形式提供目的地。为此，用户可以例如使用智能手机拍摄客厅中地毯的图像并将其发送到移动装置。然后可以例如通过语义分析来识别移动装置应该运动到的那个地方。

9、使用语义环境地图并基于移动装置在环境中的当前位置和/或取向(例如姿态)并且基于目的地来确定一个或多个中间目的地。

10、语义环境地图(或语义环境图或场景图)特别是网格或单元格地图(zellenkarte)形式的环境地图，在所述环境地图中语义信息对于网格地图的每个单元格都有语义信息。例如，能够设想：以具有节点的图形的形式来表示语义环境地图，在该图形中每个节点对应于一个单元格。例如，针对每个单元格都可以有一个或多个语义标记(标签)，其说明：该单元格是否被分配给地毯、桌子、椅子等。例如，也可以给房间分配标记，例如客厅或厨房。例如，被分配给所涉及的单元格的对象的图像也可以被考虑作为语义标记。

11、另外，特别优选地考虑所谓的中间层表示(“mid-levelrepresentation”或“middle level representation”)中的特征作为语义环境地图中的语义信息。在此情况下，这些特征是例如环境的位于一方面诸如图像这样的低级特征和另一方面诸如单词(例如“地毯”、“桌子”)或(例如针对对象类别的)数字这样的高级特征之间的特征。例如能够设想的特征诸如有：面法线、对象边缘、深度地图或深度图像。一般来说，中间层表示提供对象的非逐点描述。它是人类无法解释的一种通用向量表示。通常，这些都是由特定神经网络、例如cnn所生成的，并且这些结果通常是数值编码的语义信息。特别是，中间层表示中的特征是原始(例如，人类可理解的)语义信息(例如字符串)的紧凑表示。对中间层表示中的特征的更详细解释可以在例如“alexander sax，jeffrey o zhang，bradley emi，amirzamir，silvio savarese，leonidas guibas，和jitendra malik的learning to navigateusing mid-level visual priors.arxiv preprint arxiv:1912.11121，2019”以及“alexander sax，jeffrey o.zhang，bradley emi，amir zamir，silvio savarese，leonidas guibas，and jitendra malik的learning to navigate using mid-levelvisual priors，出自编者leslie pack kaelbling，danica kragic，和komei sugiura的proceedings of the conference on robot learning中，volume 100ofproceedingsofmachine learning research，第791–812页，pmlr，2020年10月30日-11月1日”中找到。

12、如那里所示，这种中间层表示对于表示语义非常有用。并非显式地(例如通过针对每个语义类别、例如“变分自编码器”、即vae使用字符串(单词)或整数(数字))来使用由识别系统所生成的注释，这种类型的表示则实现可被其他下游任务(例如slam和路径规划)利用的语义的高效且紧凑的表示(例如，具有缩小大小的向量，该向量对人类不可读的语义信息、例如神经网络的输出、vae的潜在空间进行编码)。

13、因此特别是(仅)在例如使用神经网络来处理信息的范畴内使用中间层表示。

14、优选地，可以通过使用slam、特别是语义slam来创建和/或适配这样的语义环境地图。作为slam(“simultaneous localization and mapping”，例如译为：同步定位与地图构建)表示一种机器人技术中的方法，其中移动装置(例如机器人)可以或必须同时创建其周围的地图，并估计其在该地图内的空间方位。例如，其用于识别出障碍物，并且因此支持自主导航。

15、语义环境地图的这种创建通常在移动装置(为了完成任务)运动时使用语义环境地图之前进行，例如在稍后要在其中使用该移动装置的环境中进行初始训练期间进行；但是根据使用的情况和类型而定还可以必要时以其他方式提供初始语义环境地图，例如在以除了移动装置以外的方式生成初始语义环境地图之后。在初始创建期间，然后例如也可以(自动地通过本领域已知的相应机器识别方法)将相应的语义信息添加到语义环境地图，从而例如因此知道“厨房”或“冰箱”在哪里。当移动装置在环境中运动时，可以适配地图，于是特别是用于改进或更新。

16、于是，在这样的语义环境地图中，不仅移动装置的位置和/或取向是已知的(例如通过slam)，而且还可以确定目的地。为此目的，可以相应地标识所提供的目的地，特别是以语义可表示的形式。例如，如果目的地是客厅的地毯，对此可以在语义环境地图中搜索语义信息“地毯”和“客厅”(或中间层表示的相应特征)被分配到的单元格(或在上述图形的情况下的节点)。例如，如果有多个单元格，则可以选择距离当前位置最近的一个。

17、此外，然后可以基于当前位置(和取向)和目的地来确定一个或多个中间目的地。为此，例如可以使用诸如所谓的dijkstra算法这样的搜索方法，利用该搜索方法可以找到针对给定起始节点和目的地节点的最短路径。如果移动装置当前在厨房中并且厨房和客厅之间存在走廊，则可以将走廊定为中间目的地。例如，也可以使用其他中间目的地，例如房间之间的门等。以这种方式，因此确定了一种原始或中间运动路径，其全局地、即在移动装置可以运动的整个相关环境(例如住宅)内并且在语义层面上说明不同的站点，移动装置如何可以到达目的地。换句话说，(通过预给定目的地而进行的)规划请求是通过语义输入来解决的。例如，这可以通过语义感知规划器意义上的相应软件模块来进行，该语义感知规划器获得语义环境地图、移动装置的当前姿态(这里，特别是考虑环境地图的最接近当前位置的单元格或节点)和目的地作为输入。规划器的输出然后是一个或多个语义路标、所提到的中间目的地，例如包含要达到的视觉中间目的地的图像或所提到的中间层表示中的对应特征。如果语义信息还包括房间或房间的特定部分中的对象(例如桌子、椅子、门等)，则这些也可以作为中间目的地被选择或说明。

18、应该指出的是，所提出的方法不仅限于室内空间；相反，这种方法是通用的，并且例如也可以应用于外部设施。

19、基于所述一个或多个中间目的地和目的地，然后确定针对移动装置自身应当沿其运动的运动路径。然后，该(最终)运动路径不仅包括粗略或全局中间目的地(例如房间)，而且特别明确地包括移动装置的每个具体运动，例如移动装置必须转向何处、多远、必须转向多长时间。向前直行等。优选地，基于以这种方式确定的运动路径，然后还确定移动装置的运动控制变量，然后例如将其输出；特别是，基于(必要时输出的)运动控制变量来操控该移动装置。然后，运动控制变量可以由驱动单元或致动器(例如驱动电机或转向致动器)来实现，使得移动装置沿着运动路径而运动。还可以为驱动单元设置(单独的)控制或调节单元。在此，特别是可以以从当前位置到第一中间目的地、然后从那里进一步到下一个中间目的地并依此类推直到目的地的方式来确定运动路径。可以以(立即)从当前位置到(最终)目的地的方式来确定运动路径。然而，还能够设想的是：不是立即确定整个运动路径，而是最初仅确定从当前位置到第一中间目的地的区段，然后在那里或在到达第一中间目的地之前不久确定到下一个中间目的地的区段。

20、同样，可以逐个部分地确定运动路径；这尤其可以在基于模型的调节、特别是模型预测调节的范畴内进行，即，优选地在基于模型的调节、特别是模型预测调节的范畴内确定运动路径。同样，然后可以在基于模型或模型预测的调节的范畴内确定运动控制变量。

21、模型预测调节，通常称为“模型预测控制(model predictive control)”(mpc)，是一种用于预测调节特别复杂的、通常多变量的过程的方法。在mpc中使用要调节的过程(此处为移动装置的运动)的时间离散的动态模型，用于根据输入信号计算出该过程的未来行为。这使得能够计算出(在品质函数的意义上)最佳的输入信号，起引起最佳的输出信号。在此，可以同时考虑输入、输出和状态限制。直至特定时间范围n内来预测模型行为，但通常仅将输入信号用于下一个时间步，然后重复优化。在此，所述优化在下一个时间步中于是使用当前的(所测量的)状态被执行，这可以被理解为反馈，并且使得mpc以不同于所谓的最优控制的方式成为一种调节。这允许考虑干扰。但是原则上，也可以使用其他类型的基于模型的调节。对于更详细的说明，也请参考附图描述。

22、此外，优选地通过使用成本函数、特别是成本函数的最小化来确定运动路径；这尤其可以在基于模型的或模型预测的调节的范畴内进行。例如，成本函数可用于模型预测的调节中，以获得运动路径。为了由此能够确定尽可能最优的运动路径，例如来自环境地图的(已知)语义信息可以被包含在成本函数中。于是，各个语义信息和语义环境地图的相关联的单元格可以是例如被相应地加权的。

23、获得这样的成本函数的优选可能性是通过使用机器学习算法、特别是人工神经网络和/或基于模型的强化学习来训练成本函数。该训练尤其可以在使用成本函数来确定运动路径之前进行，也即例如在稍后要在其中使用该移动装置的环境中的初始训练期间进行。但是，同样，当移动装置在环境中运动时，成本函数也可以被适配，于是特别是用于改进或更新(已经存在的)成本函数。更详细的说明也请参考附图描述。

24、此外，优选地至少部分地通过使用至少一个传感器单元、更优选地使用移动装置的传感器单元(其特别是包括相机和/或激光雷达传感器)来提供环境信息。然后可以进一步基于环境信息确定运动路径。环境信息因此一方面可以在slam的范畴内用于创建语义环境地图，另一方面也可以在确定运动路径期间被使用，例如在模型预测的调节的范畴内。环境信息可以包括例如可以影响对运动路径的具体确定的运动的或静止的障碍物。

25、环境信息优选地被提供作为已经提到的中间层表示或作为中间层表示中的特征或本身被处理。中间层表示又可以是被预先学习的。在此情况下，例如，可以从环境中确定一定数量的可能的中间层表示，在这些中间层表示中，可以随后在语义环境地图中表示环境信息以及也表示语义信息。对此更详细的解释，请参阅关于中间层表示的已经提到的文献。

26、如从上面的解释可以看出，所提出的方法可以分为两个阶段，离线阶段和在线阶段。在离线阶段，例如，在第一次使用之前或在第一次确定移动装置的运动路径以及然后的其运动之前，可以针对环境学习或提供(语义)中间层表示和/或其他类型的信息。理想情况下，中间层表示可以立即用于机器人的运动。例如，可以使用公开可用的(例如，在相应可访问的数据库中的)中间层表示。然而，同样地，正如所建议的，中间层表示可以与slam地图和成本预测器一起被离线学习。为此，移动装置于是也相应地被移动。

27、此外，在slam的范畴内，可以至少在第一或初始版本中创建语义环境地图。此外，所提到的成本函数可以例如使用机器学习算法来被学习或训练。

28、于是，在在线阶段中，可以在使用在离线阶段中提供的信息的情况下提供目的地、确定中间目的地并且可以确定运动路径，并且特别是也可以移动该移动装置。

29、因此提供了一种导航架构，其在确定运动路径时特别是充分利用所有规划和控制层中的语义知识或语义信息。可以考虑(在所涉及环境内的)所有全局信息。对于环境或地图而言不需要标记或注释(例如房间b中的椅子)。语义拓扑映射可以处理这个问题。用户可以说明不同类型的目的地，例如，在“去厨房中的桌子处”这样的意义中的语义标签或语义指示，或者例如以图像的形式的视觉目的地(例如冰箱的图像)。为此，例如“厨房”(或另一个语义标签)与环境地图中相应的中间层表示之间可以存在链接。对此应该注意的是，用户虽然可以是人类，但也可以是使用移动装置的其他装置(例如，呼叫服务机器人的物联网冰箱)。

30、根据本发明的计算单元，例如机器人、无人机、运输工具等的控制单元，特别是在编程技术上被设置为执行根据本发明的方法。

31、尽管在移动装置中的计算单元中执行所提到的方法步骤是特别有利的，但是诸如确定中间目的地和/或确定运动路径之类的一些方法步骤也可以在另一计算单元或计算机、例如服务器(关键字：云)上执行；为此目的，计算单元之间优选地无线的数据连接或通信连接相应地是必要的。因此有一个计算系统来执行这些方法步骤。

32、本发明还涉及一种具有至少一个用于检测环境信息的传感器单元和根据本发明的计算单元的移动装置。例如，其可以是机器人、无人机或部分自动地或(完全)自动地(在陆地、水中或空中)运动的运输工具或其组合。作为机器人例如考虑的是：家用机器人，例如吸尘和/或拖地机器人、地板或街道清洁装置或割草机器人，但也可以是所谓的服务机器人，作为至少部分自动地运动的运输工具，例如客运运输工具或货运运输工具(也称为所谓的地面运输工具，例如在仓库中)，但是还考虑到空中运输工具、例如所谓的无人机，或者水中运输工具。另外，移动装置尤其可以具有控制或调节单元以及用于沿着所确定的运动路径移动该移动装置的驱动单元。

33、以具有用于执行所有方法步骤的程序代码的计算机程序或计算机程序产品的形式实施根据本发明的方法也是有利的，因为这产生特别低的成本，特别是在进行执行的控制装置还用于其他任务并因此无论如何都存在的情况下。最后，提供一种机器可读存储介质，其上存储有如上所述的计算机程序。用于提供计算机程序的合适的存储介质或数据载体特别是磁、光和电存储器，例如硬盘、闪存、eeprom、dvd等。还可以通过计算机网络(互联网、内联网等)下载程序。这样的下载在此可以以有线的或有线缆的或无线的方式(例如，通过wlan网络、3g、4g、5g或6g连接等)进行。

34、本发明的进一步优点和设计方案由说明书和附图得出。

35、本发明使用实施例在附图中示意性地示出，并且下面参考附图进行描述。