基于经处理的土壤表面的内嵌式铲刀磨损估计的制作方法

本发明涉及一种获取工程车辆的机具的磨损信息的方法以及基于该方法的计算机程序产品。机具和工程车辆用于与建筑相关的土壤处理，例如平地、土壤切割或沥青碾压。本发明还涉及一种系统，该系统包括计算单元、定位传感器、机具跟踪传感器和视觉感知传感器以获得所述信息。

背景技术：

1、当代的工程车辆是高价值的资产，因此这种机器的停机时间被最小化。导致工程车辆更有效利用的另一个方面是减少工作通行，即，为目标土壤表面提供仅必要通行，特别是一次通行，而没有进一步校正动作。当代的工程车辆具有自动化的控制系统，以通过完全或部分地控制机器(特别是机具姿态)来促进精确的土壤处理操作。在典型的系统中，目标土壤剖面是相对于车辆系统设计的，而操作者完全负责导航车辆，使得系统通过基于目标土壤剖面调整机具的姿态来产生正确的表面。替代地，可以提供使用复杂计算机系统的3d表面设计模型。然后，可以相对于3d设计模型定位车辆，以利用各种可能的导航运动正确地切割表面。

2、作为示例，从这里开始，在以地面为基准的坐标系中，特别是以绝对地理为基准的坐标系中，描述与土壤表面相关的特征。可在以下以车辆为中心的坐标系中描述机具相关特征：车辆的(向前)移动方向限定x轴，重力矢量限定z轴，y轴被分别限定。机具的取向由三个角度描述。相对于垂直于z轴的平面的角度被称为迎角，相对于垂直于x轴的平面的角度被称为横切角，而相对于垂直于y轴的平面的第三角度是航向角。虽然上述定义反映了标准技术语言，但是该选择仅用于说明目的。方位的可替换定义(特别是使用以机具为中心的参考系或专门使用以地面为参考的坐标系)都在本发明的含义内。本发明不限于任何特定的参考系，并且本领域技术人员可以使用任何方便的坐标系来实现本发明。

3、已知有各种测量系统用于建筑领域的特定需要，特别是用于工程车辆，特别是平地机、履带车或冷铣刨机。这种测量系统可用于构建车辆的周围环境的数字3d图，检测车辆的周围环境中的障碍物，和/或支持对工程车辆的控制。例如，ep3086196a1建议通过布置在履带车上的相机系统进行环境检测。相机系统使用同步定位和映射(slam)或运动恢复结构(sfm)算法来生成环境的3d点云。jp2019167719a2公开了一种2d激光扫描仪，当安装有2d扫描仪的挖掘机枢转时，通过该2d激光扫描仪生成环境的3d模型。wo2019/197064a1公开了一种用于监测具有tof相机的车辆的环境的装置。这样产生的图像用于帮助操作者根据计划控制工程车辆在现场的操作。

4、为了简洁和清晰，从这里开始，将仅详细讨论发动机级类型的工程车辆。可以相应地应用其他车辆的具体特征，特别是履带车或冷铣刨机。

5、由于平地机的机具在土壤处理操作期间经受强烈的研磨作用，因此经受最强研磨作用的切削刃通常是可更换的“磨损零件”。代替更换整个机具，仅更换切削刃节省了材料和工时相关的成本。例如，ca2575856a1公开了一种具有可更换磨损零件的系统。从这里开始，除非另有说明，更换机具也可以意味着更换所述磨损零件。

6、由于在土壤处理操作期间的研磨作用，机具的形状开始偏离初始形状。然而，机具的形状是用于自动化或自动控制方法的输入参数。因此，如果实际的机具形状与假定的形状明显不同，则不可能进行精确的土壤处理操作。

7、现有技术的方法是离线校准，例如，将机具放置在平坦表面上，并确定其几何形状，特别是通过成像装置或通过用标尺测量多个点并将测量数据手动输入到控制软件。必须定期进行该校准，这取决于每天可能必须执行几次的工作任务。由于这是乏味和耗时的活动，在时间压力下工作的操作者可能跳过它。然而，作为结果，可能出现错误处理的土壤表面或在更严重的情况下可能出现对机具/工程车辆的损坏。

技术实现思路

1、鉴于上述情况，本发明的目的是提供更高效的土壤处理和机具磨损状态的导出。

2、本发明的另一个目的是改善工程车辆的性能，特别是改善机具的磨损特性。

3、这些目的通过本发明来实现。

4、本发明涉及一种用于导出工程车辆的土壤处理机具的土壤相互作用部件的磨损状态的方法。本发明意义上的磨损状态可以表示土壤相互作用部件的几何形状，特别是，其中，土壤相互作用部件是可更换零件。磨损状态可能意味着估计的剩余寿命、负载公差等。组合和类似的替代方案在本发明的意义内。

5、本发明意义上的土壤处理表示建筑/运土类型的处理，即平地、挖沟、土壤切割、碾压等，而不是农业任务，即喷洒。本发明意义上的土壤可以是人造或部分人造建筑材料，特别是混凝土\柏油路面或沥青。土壤可包括具有不同机械性能的不同层。本发明意义上的土壤处理机具和工程车辆是用于上述任务的机具和车辆，特别是机动平地机、履带车、冷铣刨机或安装有适当机具的拖拉机。

6、土壤相互作用部件可以是土壤处理机具的整体部分。土壤相互作用部件可以包括可更换部件或者可以是可完全更换的。土壤相互作用部件可以包括子部件。本发明适用于所有上述实施例以及合理的组合和变化。

7、导出工程车辆的土壤处理机具的土壤相互作用部件的磨损状态的方法包括以下步骤：1.)提供关于土壤相互作用部件的假定形状的几何模型；2.)通过使用土壤相互作用部件来接合土壤，并跟踪运动(该运动与土壤相互作用部件的运动相关联)以导出土壤相互作用部件的跟踪数据；3.)使用土壤相互作用部件的跟踪数据和几何模型来导出由接合引起的预期3d表面模型；4.)在接合之后，提供受与土壤相互作用部件的接合影响的土壤区域的视觉3d感知数据，使得视觉3d感知数据和预期3d表面模型能彼此参考；以及5.)将视觉3d感知数据与预期3d表面模型进行比较，并且基于比较，确定土壤相互作用部件的有效形状与假定形状的偏差。对本领域技术人员不言自明的是，数字和字母的使用不代表执行所述步骤的顺序。这些和所有其他数字不表示时间和空间连接，甚至不以优选序列的形式，并且仅用于可读性的目的。该方法的各个实施例的步骤的执行顺序的变化在本发明的意义内。

8、关于土壤相互作用部件的假定形状的几何模型可以采用各种形式。它可以是3d设计模型，例如切削刃的多个点的位置，近似该多个点的线性或多项式函数。几何模型可以是整个机具的模型，或者甚至可以包括关于工程车辆的其他部件(特别是设备或臂)的信息。本发明不限于这些实施例中的任何一个，只要几何模型可用于导出由土壤相互作用部件的接合引起的预期3d表面模型。

9、土壤可以在操作者的手动控制下接合和/或利用固定的机具姿态。土壤可以以自动化的方式接合，例如，基于目标值(特别是基于设计模型)而无需进一步的操作者动作来调整土壤相互作用部件的姿态。操作者可以远程引导工程车辆。土壤可以以部分或完全自动的模式与有限的操作者相互作用接合。有利地，本发明可以与自动化或自动土壤接合结合使用。然而，本发明也可以与手动控制结合使用。

10、跟踪数据可以由内部传感器提供，特别是运动传感器，例如应变仪、倾斜仪和加速度计。工程车辆的机具和/或其他部件的传感器可以提供机具相对于工程车辆的姿态。特别地，工程车辆的姿势改变可以由里程表和/或gnss接收器，和/或无线定位系统和/或全站仪定位系统(tps)提供。机具相对于环境的跟踪可以通过将车辆定位在外部坐标系中并使用相对于以车辆为中心的系统的机具跟踪来提供。跟踪数据也可以由视觉感知装置提供，例如通过视觉确定工程车辆相对于环境的姿势和机具相对于车辆的姿势。本发明不限于提供跟踪数据的特定传感器。

11、由接合引起的预期3d表面模型可以参考外部坐标系，特别是参考地理参考绝对坐标系。虽然本发明可以有利地应用于参考坐标系，但是本发明可应用于车辆参考坐标系。此外，即使预期3d表面模型不是按比例的，也可以应用本发明。

12、视觉3d感知数据可以基于一组2d图像，例如基于立体摄影或slam/sfm型重建算法。视觉3d感知数据可以基于例如由飞行时间相机提供的深度图像或从激光雷达和/或扫描仪和/或轮廓仪数据重建的图像。本发明可应用于任何上述技术或其合适的组合或替代。

13、在现有技术中有许多方法用于相互参考两个3d数据集，特别是视觉3d感知数据和预期3d表面模型。参考可以在识别和匹配相应的基本特征的基础上进行。参考可以基于位置数据来执行，特别是通过执行重复的校准动作来执行。本发明不限于特定的参考方法，本领域技术人员可以提供一种或更多种适当的参考方法。

14、系统可以识别视觉3d感知数据是否与预期3d表面模型充分一致。如果预期3d表面模型和视觉3d感知数据不一致，则系统可以尝试识别不一致的程度和类型，特别是如果表面高度显示出超过阈值的差异。不一致可以由全局布尔型变量表示，例如感知表面与预期表面一致/不一致。不一致可以用全局数值变量表示，例如发现97％的匹配。不一致可以在局部基础上表示，例如表示为包括偏离区域的地图。特别是对于后一种情况，也可以在显示器中标识和高亮显示不一致的类型，例如土壤中的卵石、土壤相互作用部件中的可能凹痕、土壤相互作用部件未对准等。

15、在一些实施例中，土壤处理是土壤切割和/或土壤整平和/或平地和/或挖沟和/或冷铣刨之一。

16、在一些实施例中，3d感知数据提供包括直接在土壤处理机具后面的区域的视野。在本发明的意义上，“直接在后面”还可以意味着机具的至少一部分由视觉感知传感器检测。替代地，为了避免由感知机具引起的假象，可以利用间隙。根据本发明的意义，这些实施例落在直接在机具的后面的范围内。提供包括直接在土壤处理机具后面的区域的视野是特别有利的，因为它提供在线反馈，即数据可以用于以控制回路的方式补偿土壤处理机具的磨损状态。然而，对数据进行积分或平均可以用于最小化局部偏差的影响，特别是在视觉3d感知数据上的卵石或鹅卵石及其痕迹。当土壤在连续向前移动中接合时，这样的实施例是特别有利的。

17、在一些替代实施例中，视觉3d感知数据在随后的接合通行中生成。可以优选地利用这样的实施例，其中，通行长度较小，因此基于先前通行的数据合理地表示当前状态。数据可由前视传感器收集。与在土壤处理机具后面提供视野的视觉感知传感器部件不同，前视传感器可以安装在工程车辆的安全的受保护的位置上。即，在这些实施例中，污染和/或损坏传感器的风险可能较低。作为另一个优点，前视传感器可以从较大的表面区域收集数据，特别是它们可以从上至几百米的用地收集数据。这些实施例结合视觉3d感知数据的集成是有利的。

18、在一些实施例中，该方法还包括访问处理前的土壤的初始3d表面模型。该方法可以包括访问目标表面和/或工作任务。在一些具体实施例中，基于土壤的初始3d表面模型和土壤相互作用部件的几何模型，以自动化的方式或自动地控制土壤相互作用部件的姿态。该工作流程代表了典型的当代土壤处理，其中，操作者负责驱动工程车辆并对机器消息和/或进度表变化作出响应，而机具控制的细节由控制器自动化地或自动地提供。根据工作任务，特别是具有死亡或受伤风险的任务，操作者可以远程引导工程车辆。

19、在一些实施例中，基于土壤相互作用部件的有效形状与假定形状的确定出的偏差，导出土壤相互作用部件的校正的几何模型。校正的几何模型可以代替用于自动化地或自动地控制土壤处理机具的姿态的几何模型。除非另有规定，否则几何模型的特征可适用于校正的几何模型。

20、在一些实施例中，提供或更新磨损图案数据库。磨损图案数据库包括土壤相互作用部件的有效形状的作为跟踪数据的函数的演变。磨损图案数据库可以包括来自相同或不同工作车辆的先前土壤处理操作的数据。磨损图案数据库可以提供给远程服务器，特别是车队管理服务器。磨损图案数据库可以包括另外的数据，特别是土壤的机械性能。磨损图案数据库可用于导出预期磨损图案，其中，预期磨损图案表示土壤相互作用部件的有效形状的典型演变，特别是中值演变。可以提供对土壤相互作用部件的观察到的有效形状是否与预期磨损图案一致的评估。

21、在一些实施例中，基于土壤相互作用部件的校正的几何模型，提供用于土壤处理机具的机具调整命令。执行调整命令使得执行以下步骤：1.)基于土壤相互作用部件的校正的几何模型，由土壤相互作用部件接合土壤；并且2.)基于土壤相互作用部件的校正的几何模型，更新预期3d表面模型。在这些实施例中，基于磨损状态校正土壤相互作用部件的姿态，以便补偿形状变化。这样的实施例的益处是双重的。通过根据有效形状调整土壤相互作用部件的姿态，至少减轻或理想地完全补偿土壤相互作用部件的磨损的不利影响。这导致改进的土壤处理，其中，减少了补偿误差的后续通行的数量。此外，这种在线调整可能导致维护的频率降低，并且使得工程车辆的使用更加有效。

22、在一些实施例中，提供用于土壤处理机具的调整命令，使得预计的磨损减小土壤相互作用部件的有效形状与假定形状的偏差。这可以例如通过调整机具的航向角而作为机具的前缘和后缘的交换来实现。替代地，可以调整机具的横切角，使得经受更多磨损的零件上的负载减小。这些实施例可以有利地用于预备通行中，其中，经处理的土壤表面没有成形为其最终几何形状。这样的实施例的优点是通过提供更均匀的磨损而更有效地利用土壤相互作用部件。这可能导致维护频率较低，并且使得工程车辆的使用更有效。可以基于磨损图案数据库提供预计的磨损。

23、在一些实施例中，基于土壤相互作用部件的校正的几何模型向操作者提供错误消息。错误消息指示不能在公差范围内执行土壤的处理。公差范围可以是土壤相互作用部件的有效形状与所需形状的偏差的加权积分。加权积分可以相对于土壤相互作用部件的姿势调整选项来计算。还可以向操作者提供另外的错误消息，该错误消息指示需要更换土壤处理机具。这些好处又是双重的，首先是不用具有不适当形状的机具执行土壤处理任务，有效、有用工作的份额增加。此外，通过提供明确的、自动产生的维护到期的指示，可以省略对维护需求的常规控制。土壤相互作用部件的校正的几何模型可以被传送到服务器，特别是车队管理服务器，并且工程车辆可以被重新分配到公差范围较高的任务。

24、在一些实施例中，基于土壤相互作用部件的校正的几何模型的时间演变，向操作者提供与土壤相互作用部件的估计的剩余工作时间相关的数据。可以基于土壤相互作用部件的侵蚀速率提供估计的剩余工作时间。可以进一步基于磨损图案数据库提供估计的剩余工作时间。估计的剩余工作时间可以被传送到服务器，特别是车队管理服务器，并且可以基于估计的剩余工作时间来分配工程车辆的维护和/或任务。

25、在一些实施例中，接合之前的土壤的3d感知数据和/或初始3d表面模型包括关于土壤的机械特性的数据，该机械特性特别是阻力。基于土壤的机械特性和基于土壤相互作用部件的校正的几何模型的时间演变，提供与土壤相互作用部件的估计的剩余工作时间相关的数据。

26、在一些实施例中，该方法还包括以下步骤：1.)提供土壤处理机具的姿态的自动化调整，用于特别是基于土壤的机械特性来优化估计的剩余工作时间；以及2.)更新与机具的估计的剩余工作时间相关的数据。调整可以是机具的迎角和/或航向角的优化。除此之外，还可以为操作者提供降低速度和/或较浅切割的请求。特别是对于除最后通行之外的通行，这种优化策略可以在不影响总完成时间但保护机器的情况下执行。所感知的土壤的机械特性也可以被传送到服务器，特别是车队管理服务器，并且工程车辆可以基于机具的磨损状态和不同工地处的土壤的机械特性被分配给工作任务。

27、在一些实施例中，该方法进一步包括以下步骤：1)访问土壤处理机具的负载极限，特别是土壤相互作用部件的负载极限，该负载极限表示在土壤处理任务期间土壤处理机具相对于校正的几何模型和/或估计的剩余工作时间的允许负载；以及2)提供土壤处理机具的姿态的自动化调整，用于进一步基于负载极限来优化估计的剩余工作时间。

28、在一些实施例中，将3d感知数据与预期3d表面模型进行比较进一步包括以下步骤：1.)识别预期3d表面模型和视觉3d感知数据之间的偏离区域，特别是，该偏离区域在表面区域处具有超出公差范围的表面高度差；2.)确定偏离区域的纵向范围，其中，纵向方向是土壤处理机具的移动方向；3.)将偏离区域分类为无关紧要的，其中，偏离区域的纵向范围低于区域阈值；4.)从比较中排除无关紧要的偏离区域。无关紧要的偏离区域可以是地面上的鹅卵石或当鹅卵石被土壤处理机具拖动时它们的痕迹。虽然这样的轨迹可能导致高度的显著偏差，但是它们不包含关于机具的磨损状态的信息，并且可以被认为是测量伪影。因此，从视觉3d感知数据中识别和排除这种受测量伪影影响的区域是有益的。通过有限的纵向范围识别这些区域是特别有利的，因为它不需要进一步的输入数据。

29、在一些实施例中，该方法进一步包括以下步骤：1.)执行工程车辆的向后移动，其中，向后移动表示在经处理的土壤表面内的移动；2.)在视觉3d感知数据中识别工程车辆的轨迹，特别是车辙或车轮印；3.)从视觉3d感知数据中排除包括工程车辆轨迹的域。在替代的实施例中，可以基于工程车辆的已知几何形状(特别是已知的车桥宽度)而排除所述域。这些实施例对于工程车辆是有利的，其中由于其他原因，特别是由于污染和/或损坏的风险，放置视觉感知传感器使得视觉感知传感器提供包括直接在土壤处理机具后面的区域的视野是复杂的或不推荐的。这些实施例对于履带式工程车辆也是有利的，所述履带式工程车辆通常以一系列短的前后移动的形式执行施工任务。

30、本发明还涉及一种用于导出工程车辆的土壤处理机具的土壤相互作用部件的磨损状态的系统，所述系统被配置成执行所述方法的选定实施例。该系统包括计算单元、机具跟踪传感器、定位传感器和视觉感知传感器。计算单元的、机具跟踪传感器、定位传感器和视觉感知传感器是功能性的定义。上述中的任何一个可以包括多个分离的物理部件。此外，计算单元、机具跟踪传感器、视觉感知传感器和定位传感器可包括不位于工程车辆之中或之上的远程部件。远程部件的非排他性列表包括外部相机、全站仪或等效仪器、远程服务器。此外，给定的物理部件可能对多个功能部件有贡献，例如，相机也可能经由slam或sfm方法充当定位传感器。

31、视觉感知传感器被配置成布置在工程车辆上，使得视觉感知传感器姿态能参考工程车辆。视觉感知传感器被配置成向计算单元提供视觉感知传感器数据，其中，所述视觉感知传感器数据使得能够导出受与土壤相互作用部件的接合影响的土壤区域的视觉3d感知数据。视觉感知传感器可以具有固定姿态，然而本发明同样适用于视觉感知传感器的相对姿态可以以可跟踪的方式相对于车辆调整的情况。视觉感知传感器可以包括物理上分离的部件，特别是作为立体相机的一部分。视觉感知传感器可以包括具有向前视野和/或向下视野和/或向后视野的部件。视觉感知传感器可以提供相机图像，特别是适合于slam/sfm算法的相机图像。视觉感知传感器可以利用扫描方法并提供能够重建土壤表面的3d图的数据。视觉感知传感器可以包括激光轮廓仪，和/或激光雷达和/或飞行时间相机。

32、计算单元被配置成：1.)检索土壤相互作用部件的假定形状；2.)基于机具跟踪传感器和定位传感器的传感器读数，导出跟踪数据(跟踪数据与土壤相互作用部件的运动相关联)；3.)使用跟踪数据和土壤相互作用部件的几何模型来导出由接合引起的预期3d表面模型；4.)导出受与土壤相互作用部件的接合影响的土壤区域的视觉3d感知数据，使得视觉3d感知数据和预期3d表面模型能彼此参考；5.)将视觉3d感知数据与预期3d表面模型进行比较，并基于比较，确定土壤相互作用部件的有效形状与假定形状的偏差。还清楚的是，计算单元被配置为在上述3d感知数据和预期3d表面模型中执行一般的数值和几何操作，特别是确定距离、面积和体积。

33、在一些实施例中，计算单元被配置成：接收期望土壤表面的3d设计模型；以及将3d设计模型给预期3d表面模型和3d感知数据作参考。计算单元可以进一步：导出施工任务，特别是基于3d设计模型和3d感知数据的差异，特别是其中，视觉感知传感器包括具有前向视野的部件。计算单元可以基于3d设计数据并且进一步基于由定位传感器提供的数据来提供引导指令和/或机具调整命令。

34、在一些实施例中，工程车辆是机动平地机、履带车或冷铣刨机。土壤处理机具可以被配置成用于土壤切割、平地、冷铣刨或整平。

35、在一些实施例中，视觉感知传感器包括安装在工程车辆上的部件，该部件的视野包括直接在土壤处理机具后面的经处理的土壤表面的区域，特别地，其中，视觉感知传感器还包括提供未接合的土壤的视图的前视部件。

36、在一些实施例中，视觉感知传感器被配置成提供：1.)关于土壤相互作用部件的第一视觉数据，该第一视觉数据表示开始土壤处理之前的磨损状态；2.)关于土壤相互作用部件的第二视觉数据，该第二视觉数据表示完成土壤处理之后的磨损状态。计算单元被配置成提供土壤相互作用部件的基于第一和第二视觉数据的测量形状与土壤相互作用部件的校正的几何模型之间的比较，其中，校正的几何模型是基于土壤相互作用部件的有效形状与假定形状的所确定的偏差而导出的。在一些替代实施例中，其他类型的数据(特别是用尺子得到的测量值)提供了在开始土壤处理之前和完成土壤处理之后土壤相互作用部件的测量形状。这种比较可以提供关于图像数据的评估的反馈，以提供视觉3d感知数据和/或土壤相互作用部件的校正的几何模型的推导。

37、在一些实施例中，定位传感器包括gnss接收器，和/或tps，和/或无线定位系统，和/或视觉定位系统(vps)，和/或视觉惯性定位系统(vips)。定位传感器可以提供绝对地理参考数据。然而，本发明可应用于视觉3d感知数据和预期3d表面模型的本地参考。

38、本发明还涉及一种用于导出工程车辆的土壤处理机具的土壤相互作用部件的磨损状态的计算机程序产品。计算机程序产品可以存储在机器可读介质上，或者可以通过包括程序代码段的电磁波来实现。该计算机程序产品具有用于执行以下步骤的计算机可执行指令：1.)检索输入数据，其中，该输入数据包括：a.)关于土壤相互作用部件的假定形状的几何模型；b.)土壤相互作用部件的跟踪数据；以及c.)受与土壤相互作用部件的接合影响的土壤区域的视觉感知传感器数据，2.)基于该输入数据，导出：a.)受与土壤相互作用部件的接合影响的土壤区域的视觉3d感知数据；以及b.)由接合引起的预期3d表面模型，其中，视觉3d感知数据和预期3d表面模型彼此参照；3.)基于将视觉3d感知数据与预期3d表面模型进行比较，确定土壤相互作用部件的有效形状与假定形状的偏差。

39、计算机程序产品的一些实施例被配置成执行方法的所选实施例的计算步骤，特别是当计算机程序产品在根据本发明的系统的计算单元上运行时。