用于机具跟踪系统的视觉定位和特征检测的制作方法

本发明涉及一种跟踪作业车辆(work vehicle)的机具(implement)的方法。在将机具附接至作业车辆时，机具的姿势可以沿着多个自由度改变。本发明还涉及一种基于摄像头的系统，以提供关于所述机具的校准信息和/或姿势数据。而且，本发明涉及一种用于该方法的自动计算机控制执行的计算机程序产品。

背景技术：

1、当代作业车辆是高价值资产。因此，适于多个任务的通用作业车辆优于专用作业车辆。提供灵活性的一种方式是向作业车辆提供用于快速更换机具的万向接头。例如，典型的挖掘机可以设置有宽的大容量(泥浆)铲斗(该铲斗具有被用于清理和调平的直切削刃(straight cutting edge))、以及用于切削较硬物料的带齿铲斗。而且，代替铲斗，这些挖掘机可以配备有耙。类似地，特制的装载机或拖拉机也可以具有用于不同应用的一系列装载机具。为了简洁和清楚，从这里起，将仅详细讨论前装载机类型的作业车辆。可以相应地应用其它作业车辆的具体特征。

2、现代运土机器还被配置用于部分或完全自动化控制。在本发明的意义上的自动化是指机器的操作者提供关于车辆和/或机具在外部坐标系或以车辆为中心的坐标系中的期望移动的命令。在下一步骤中，作业车辆的控制器将这种期望移动翻译成实际致动器控制命令。通俗地，将在以车辆为中心的坐标系中操作的自动化控制系统称为2d系统，而将相对于外部坐标系操作的控制器称为3d系统。作为示例，更详细地讨论3d系统。可以相应地应用2d系统的细节。

3、原则上，可以在没有任何环境模型的情况下或者基于静态模型(例如，施工现场平面图)，以自动化方式操作作业车辆。然而，由于事故的可能风险而导致人身伤害或高财产损失，因此不推荐这种操作模式。优选地，作业车辆访问动态环境信息，并且向操作者提供相对于环境对象的定位信息，特别是作业车辆呈现碰撞避免特征。

4、存在已知用于建筑领域的特殊需要(尤其是用于诸如挖掘机、平地机或推土机的运土机器)的各种测量系统。可以将这种测量系统用于构建车辆的周围环境的数字3d模型、检测周围环境中的障碍物、和/或支持对该作业车辆的控制。例如，ep 3086196a1提出借助于被布置在履带牵引设备上的摄像头系统来进行环境检测。摄像头系统使用同时定位和地图构建(simultaneous localization and mapping，slam)或从运动恢复结构(structurefrom motion，sfm)算法来生成环境的3d点云。jp 2019167719 a2公开了一种激光扫描器，当安装有该扫描器的挖掘机进行枢转时，借助于该扫描器生成环境的3d模型。wo 2019/197064 a1示出了一种用于利用飞行时间(time of flight，tof)摄像头来监测车辆的环境的设备。这样生成的图像有助于作业车辆的操作者根据计划控制车辆在施工现场的操作。

5、除了定位作业车辆本身之外，还通常期望知道机具相对于环境对象的姿势。这对于履带牵引装置、装载机或平地机尤其重要，其中，执行运土任务的机具的接触域(contactdomain)从驾驶室不可见。因此，操作者必须基于其经验来估计接触域的姿势或者必须依赖于传感器读数。当代作业车辆配备有采用测斜仪、加速度计、应变仪等形式的一组内部传感器，以提供与作业车辆的各种组件的状态有关的传感器读数。然而，这种传感器表现出相当大的漂移，尤其是在典型的运土任务期间所经历的恶劣条件下。传感器也可能经历高于所述传感器的公差水平的冲击力。由于这些传感器的操作需要与机具和/或提供机具的移动的臂直接接触，因此它们不能被安装在安全的非暴露位置。

6、基于图像的方法是有利的，这是因为成像传感器(特别是摄像头)可以被放置在作业车辆的相对不动的非暴露位置。

技术实现思路

1、本发明的目标

2、考虑到上述情况，本发明的目的是提供一种用于机具移动的基于图像的跟踪方法。

3、本发明的另一目的是提供更高效的作业流程，特别是在机具更换(change)期间。

4、本发明的概述

5、本发明涉及一种跟踪作业车辆的可移动机具的方法。所述方法包括以下步骤：1.)在作业车辆的移动期间，访问包括由成像传感器记录的图像的图像数据，并且在机具相对于成像传感器的移动期间，提供与成像传感器的可参考车辆姿势的传感器姿势相关联的到环境以及机具的至少部分的视野(view)；2.)通过向图像数据应用特征跟踪算法来导出3d地图数据，其中，该3d地图数据提供3d环境模型以及传感器姿势在该3d环境模型内的相对参考；3.)跟踪由图像数据成像的处于机具相对于成像传感器的不同姿势的机具特征，并且基于该机具特征来确定提供以下项的机具跟踪数据：a.)机具特征在3d环境模型内的位置信息；以及b.)机具特征相对于彼此的布置信息(特别是在以机具为中心的坐标系中)；4.)访问基准(benchmark)信息，该基准信息提供由图像数据成像的环境的两个基准点之间的真实距离和/或由图像数据成像的机具的两个基准点之间的真实距离，并且使用基准信息来向机具跟踪数据提供绝对尺度(scale)信息，使得位置信息提供用于导出机具特征在绝对尺度下的位置变化；以及5.)使用机具跟踪数据用于跟踪机具。本领域技术人员不解自明的是，数字和字母的利用并不表示执行步骤的顺序，而是表示要以切合实际的次序执行的步骤的列表。所述方法的任何实施方式的步骤的执行次序的变化都在本发明的意义内。

6、本发明意义上的图像数据可以是通过照相装置获取的数据。图像数据也可以是从其它类型的数据(特别是由扫描装置获得的数据)重建的图像。除了所述图像数据适合于由特征跟踪算法处理之外，本发明不限于某类图像。

7、相对于作业车辆的传感器姿势可以是固定姿势，然而本发明不限于这种设置。与此相反，本发明可以应用于传感器呈现自身运动的情况。在所述方法的执行期间，可以手动或自动调整传感器姿势。传感器相对于环境的姿势变化可从作业车辆相对于环境的姿势变化导出(例如，通过平移移动、以及传感器的自身运动(例如，转动移动))，以在传感器的视场中保持被跟踪特征。虽然传感器相对于作业车辆的姿势变化以及作业车辆相对于环境的姿势变化必须是已知的，但是本发明在不知道作业车辆相对于环境的姿势和/或传感器相对于作业车辆的姿势的情况下是适用的。

8、特征跟踪算法可以包括不同的子算法。这种子算法能够独立地贡献于3d环境模型的导出。不同的子算法可以被优化用于不同的特征跟踪任务和/或条件，例如，图像亮度、被跟踪对象到传感器的距离、图像中的对象的相对速度等。本发明不限于使用同一特征跟踪子算法来跟踪环境特征和机具特征。而且，本发明可以利用多个特征跟踪子算法来跟踪机具特征和/或环境特征。3d环境模型和/或机具特征的布置信息可以基于作为整体的特征跟踪算法而不是基于独立的子算法来导出。

9、基准信息可以基于参考对象。基准信息可以基于访问环境的包括多个环境特征的距离的模型数据以及与机具有关的相应模型数据。基准信息可以基于直接距离测量(特别是通过激光飞行时间测量)、或者通过间接距离测量(特别是通过基于两个测量姿势的三角测量)。基准信息可以基于作业车辆的被跟踪姿势变化，特别是通过基于gnss的跟踪。

10、机具跟踪数据表示机具在环境中的实际状态。可以利用该机具跟踪数据来帮助执行作业车辆相对于环境的操作，例如，从土堆装载铲斗或拨出树干。

11、在一些实施方式中，机具的图像被提供给操作者，并且在图像的特征的位置上需要操作者输入。操作者可以选择、接受、拒绝或重新设计某些机具特征。关于环境特征可以执行类似的动作。

12、在一些实施方式中，所述方法包括以下步骤：进行第一机具基准定位(benching)以提供基准信息。该第一机具基准定位包括以下步骤：1.)提供具有两个基准定位点的环境参考对象，特别是参考框边(mat)；2.)在机具的第一姿势中，使该机具的第一特征接触第一基准定位点，并且记录该机具的第一姿势；3.)在机具的第二姿势中，使该机具的第一特征接触第二基准定位点，并且记录该机具的第二姿势；4.)在机具的第三姿势中，使该机具的第二特征接触第二基准定位点，并且记录该机具的第三姿势；以及5.)基于机具的第一姿势、第二姿势以及第三姿势来提供绝对尺度信息，特别是其中，机具的第一特征和第二特征包括该机具的边缘和/或角部。

13、在一些实施方式中，特别是通过特征跟踪算法，基于图像数据来自动标识环境参考对象。在标识环境参考对象时，可以在接收到操作者批准之后或者完全自动地以自动化方式执行第一机具基准定位。这些实施方式尤其有利于(例如在具有机具和至少一个环境参考对象的集合的车辆调配场(motor pool)中)进行机具更换之后获得机具特征的布置信息。环境参考对象可以是环境中的预先存在对象，例如，具有标准化尺寸的电力杆。环境参考对象可以是有目的设计的参考对象，例如，具有已知形状和尺寸以及高对比度以简化特征跟踪的参考框边。对于本发明来说，利用有目的设计的参考对象是特别有利的。然而，本发明可以在没有这样的参考对象的情况下应用。

14、在一些实施方式中，参考对象是基于所存储的数据库来标识的，该数据库包括参考对象的列表，该参考对象具有关联的可跟踪特征和关联的绝对尺度信息，该可跟踪特征使得能够通过特征跟踪算法来标识参考对象，该绝对尺度信息用于导出基准信息。

15、在一些实施方式中，所述方法包括以下步骤：进行第二机具基准定位以提供基准信息。该第二机具基准定位包括以下步骤：1.)提供包括基准定位接触部(benchingcontact)的基准定位对象；2.)在机具的第四姿势中，使该机具的第三特征接触基准定位接触部，并且记录该机具的第四姿势；3.)在机具的第五姿势中，使该机具的第四特征接触基准定位接触部，并且记录该机具的第五姿势；4.)特别是基于作业车辆的姿势变化来提供机具的第三特征与该机具的第四特征之间的绝对距离信息；以及5.)基于机具的第三特征和第四特征的绝对距离，来提供绝对尺度信息。与利用包括两个基准定位点的环境参考对象的第一机具基准定位不同，第二机具基准定位可以利用环境中的任何适当稳定的不动对象来执行。换另一种说法，不必知道基准定位对象的尺寸，并且单个基准定位接触部足以执行第二机具基准定位。基准定位接触部可以是基准定位对象上的允许执行该方法的任一任意域。基准定位接触部和机具的第三特征可以都是点状的。第三特征和/或基准定位接触部可以在空间上延伸，特别地，基准定位接触部可以是杆或等同物，并且机具的第三特征与第四特征之间的绝对距离信息可以通过投影到垂直于基准定位接触部的延伸的平面来提供。

16、由于基准定位对象不提供绝对尺度信息，因此需要外部绝对尺度信息来执行第二机具基准定位。在一些实施方式中，机具的尺寸是已知的，特别是经由制造商提供的规范和/或数字设计数据。另选地，绝对尺度信息可以通过将机具的相对姿势固定到作业车辆来提供，并且作业车辆的被跟踪(特别是被gnss接收器跟踪的)移动提供机具的第四姿势与第五姿势之间的姿势变化。

17、在一些实施方式中，图像数据包括第一组图像，其中，第一组图像包括未安装的机具的至少一个图像，使得机具的接触域和多个机具特征是可见的。通过利用第一组图像提供机具特征在机具坐标系中相对于彼此的布置信息。由于当代作业车辆通常呈现特别是通过快速联接器进行快速机具更换的能力，因此这些实施方式提供了获得机具特征的布置信息的特别高效的方式。这些实施方式的另一优点是直接观察机具的接触域(特别是切削刃)、以及该接触域与其它机具特征的几何关系，即，可以获得机具的数字模型。如果从其它来源知道具有绝对尺度的等效数据，特别是机具制造商所提供的数据，那么机具本身可以提供基准信息。

18、在一些实施方式中，图像数据包括第二组图像，该第二组图像包括两个图像。第二组图像中的第一图像包括多个被跟踪环境特征，而第二组图像中的第二图像包括来自该第二组图像中的第一图像的被跟踪环境特征。在获取第二组图像中的第一图像和第二图像期间，传感器相对于环境的姿势是不同的，而机具相对于传感器的姿势是相同的。

19、在一些实施方式中，图像数据包括第三组图像，该第三组图像包括两个图像。第三组图像中的第一图像包括多个被跟踪机具特征，而第三组图像中的第二图像包括来自该第三组图像中的第一图像的多个被跟踪机具特征。在获取第三组图像中的第一图像和第二图像期间，传感器相对于环境的姿势是相同的，而机具相对于传感器的姿势是不同的。分别处于第二组图像和第三组图像中的两个图像表示执行这些特定实施方式所需的最小数量。另选方法，特别是特征的连续跟踪可以同样适用于实现本发明。

20、在一些实施方式中，所述方法还包括以下步骤：机具姿势传感器校准。该机具姿势传感器校准包括以下步骤：1.)在第一机具姿势传感器校准状态获取第三组图像中的第一图像，并且将与机具的姿势有关的机具姿势传感器读数指派给该图像；2.)在第二机具姿势传感器校准状态获取第三组图像中的第二图像，并且将机具姿势传感器读数指派给该图像；以及3.)基于分别从机具跟踪数据和所指派的机具姿势传感器读数导出的机具的姿势，来提供机具姿势传感器校准参数。利用本发明来校准另外的传感器，特别是机具控制的惯性传感器是本发明的有益应用。执行机具姿势传感器校准可以进一步提供与机具的姿势有关的传感器读数。可以关闭/移除成像传感器，并且可以基于机具姿势传感器的传感器读数来操作作业车辆。如果成像传感器失去对机具特征的视觉跟踪，则机具姿势传感器可以提供备用跟踪。

21、在一些实施方式中，访问基准信息包括以下步骤：1.)在第一基准位置获取第二组图像中的第一图像；2.)提供转向命令，以通过沿着成像传感器的视轴(view axis)的平移移动使作业车辆转向到第二基准位置，并且特别是通过利用gnss接收器提供在第一基准位置与第二基准位置之间的姿势变化；3.)在第二基准位置获取第二组图像中的第二图像；以及4.)基于第二组图像中的环境特征的相对布置以及第一基准位置与第二基准位置之间的姿势变化，来提供基准信息。

22、在一些实施方式中，机具包括机具参考对象，特别是具有已知的标准化尺寸的参考板和/或以彼此相距已知距离放置的两个标记。基准信息进一步基于由特征跟踪算法跟踪机具参考对象的两个特征来提供。机具参考对象可以是机具中的预先存在对象，例如，具有标准化尺寸的铲斗耳。机具参考对象可以是有目的设计的参考对象，例如，具有已知形状和尺寸以及高对比度以简化特征跟踪的参考板。对于本发明来说，利用有目的设计的参考对象是特别有利的。然而，本发明可以在没有这样的参考对象的情况下被应用。其中不利用这种参考对象的实施方式是有利的，因为这种易损的参考对象可能在作业车辆的操作期间被损坏。另选地，可以临时提供这样的参考对象来访问基准信息。

23、在一些实施方式中，进一步基于机具的数字模型来提供基准信息。机具的数字模型包括机具特征的距离和/或尺寸，特别是角部的长度和/或距离和/或机具安装部件的距离。数字模型可以由制造商提供。数字模型可以通过机具的3d成像来提供，特别是通过利用激光扫描仪进行扫描来提供。

24、在一些实施方式中，所述方法还包括以下步骤：基于机具的数字模型的成像传感器校正。该成像传感器校正包括以下步骤：1.)提供机具的数字模型；2.)提供机具特征处于相对于成像传感器的多个机具姿势的布置信息，使得机具的布置信息可参考该机具的数字模型；3.)基于机具特征处于相应的机具姿势的布置信息的导出以及机具的数字模型，来导出摄像头畸变数据；4.)基于摄像头畸变数据来导出成像传感器的校正参数；以及5.)在提供3d环境模型以及传感器姿势在3d环境模型内的相对参考时，应用校正参数。这些实施方式特别有益，这是因为可以在现场校准成像传感器。

25、在一些实施方式中，特征跟踪算法基于：1.)尺度不变特征变换(scale invariantfeature transformation，sift)，和/或2.)加速鲁棒特征(speed up robust feature，surf)，和/或3.)二元鲁棒独立基本特征(binary robust independent elementaryfeatures，brief)，和/或4.)来自加速分段测试的特征(features from acceleratedsegment test，fast)，和/或5.)sfm，和/或6.)slam。显然，特征跟踪算法可以包括多个子算法，各个子算法皆能够独立实现本发明意义上的特征跟踪。可以针对不同任务(例如，跟踪近场或者远场对象)、不同环境条件(例如，照明、薄雾(haze))来优化子算法。可以并行利用多个子算法来跟踪相同的特征，以便为特征跟踪算法提供鲁棒性。一些特征可以由第一子算法来跟踪，而同一图像中的其它特征可以由第二子算法来跟踪。技术人员应理解，上述列表是非排他性的，并且可与类似或另选方法相组合。

26、本发明还涉及一种用于跟踪作业车辆的机具的系统，该系统被配置成执行所选实施方式。该系统包括计算单元和成像传感器。

27、成像传感器被配置成布置在作业车辆上，使得成像传感器的姿势可参考作业车辆，以及向计算单元提供图像数据，使得能够跟踪机具相对于环境的移动。成像传感器可以是摄像头，特别是单目摄像头。成像传感器可以包括多个摄像头，以特别是提供光谱或超光谱图像。成像传感器可以通过利用扫描光束扫描环境来提供图像数据，特别地，成像传感器可以是激光雷达系统。

28、计算单元被配置成执行特征跟踪算法，以基于所接收到的图像数据来跟踪机具和环境特征，以及利用特征跟踪算法，来导出机具相对于环境的姿势。计算单元被配置成基于对环境特征的跟踪，来提供3d环境模型以及传感器姿势在3d环境模型内的相对参考。计算单元被配置成利用图像数据执行所需的数学和几何运算。

29、在一些实施方式中，该系统还包括输入接口和输出接口。输入接口被配置成特别是通过利用3d环境模型来接收操作者转向命令，该操作者转向命令与机具的期望姿势或移动有关。计算单元还被配置成基于所接收到的操作者转向命令并且还基于机具相对于环境的姿势，来提供机具移动命令。输出接口被配置成显示：a.)3d环境模型；b.)机具在3d环境模型中的期望姿势或移动的表示；以及c.)机具特征相对于彼此的布置信息。

30、输入接口可以包括一个或更多个操纵杆、和/或一个或更多个按钮、和/或一个或更多个按钮盒、和/或一个或更多个开关和/或触摸屏。输入接口可以冗余地实现某些功能，即，可以经由按钮或触摸屏命令来启用某些功能。输入接口可以被配置成接收与作业车辆的期望姿势或移动有关的操作者转向命令，特别地，输入接口可以包括方向盘和踏板以操作作业车辆。输入接口可以被配置成接收与成像传感器的期望相对姿势或移动有关的操作者转向命令，特别地，成像传感器可以相对于作业车辆旋转。上述列表是非排他性的，并且技术人员可以提供适当的类似或另选输入接口。

31、输出接口可以由触摸屏来实现。输出接口可以是没有触摸功能的显示器。输出接口可以被临时附接。输出接口可以被配置成提供视觉或音频信号，特别是以避免与环境对象碰撞。

32、在一些实施方式中，计算单元被配置成接收关于环境的至少一部分的数字表示数据。数字表示数据包括：a.)表示环境的当前状态和/或过去状态和/或经规划的未来状态的信息；和/或b.)表示要由作业车辆执行的作业任务的信息。计算单元还被配置成：a.)使数字表示数据参考3d环境模型；b.)还基于数字表示数据来提供机具移动命令；以及c.)基于图像数据来对数字表示数据进行更新。数字表示数据可以是3d数据，特别是计算机辅助设计或建筑信息模型数据。数字表示数据可以是表示环境的点云。数字表示数据可以是2d数据，例如，地图。数字表示数据可以包括描述作业任务的多个层，特别是包括关于前后状态的信息。

33、在一些实施方式中，该系统包括被配置成提供关于车辆姿势变化的数据的一组定位传感器。该组定位传感器包括以下之一：1.)gnss接收器，和/或2.)里程计，和/或3.)惯性导航系统，和/或4.)全站定位系统(total station positioning system，tps)。计算单元还被配置成基于来自该组定位传感器的数据来提供基准信息。该组定位传感器可以包括上面所列举的多个示例，或者包括被配置成提供车辆姿势变化的其它传感器。

34、在一些实施方式中，作业车辆是履带牵引装置、轮式装载机或拖拉机中的一者。机具包括被配置成接触环境中的作业对象的接触域。接触域的姿势可从机具特征的姿势导出，特别是其中，操作者看不到接触域。计算单元被配置成基于被跟踪机具特征来导出接触域的姿势。系统包括显示器，显示器被配置成显示接触域相对于环境的姿势。

35、尽管不限于上述示例，但是利用本发明的一种特别有益的方式是，提供在作业任务的执行期间不可见的接触域(特别是切削刃)的姿势信息。如果被跟踪机具特征是机具的预先存在特征(例如，机具接头的角部和边缘或部件)，则更加有利。本发明的这种利用使得能够精确和高效地执行作业任务，而无需直接看到接触域，并且无需在例如运土任务期间将易损组件附接至机具。

36、在一些实施方式中，该系统还包括一组机具姿势传感器，该组机具姿势传感器被配置成基于机具姿势传感器读数来提供机具姿势。计算单元被配置成执行视觉跟踪模式和传感器跟踪模式。在视觉跟踪模式下，由成像传感器来提供机具特征在3d环境模型内的位置信息。在传感器跟踪模式下，由机具姿势传感器来提供机具特征在3d环境模型内的位置信息。传感器跟踪模式可以在成像传感器失去被跟踪机具特征时启用。计算单元还被配置成基于由传感器跟踪模式提供的数据来重新建立机具特征的视觉跟踪。视觉跟踪模式和传感器跟踪模式可以并行运行，其中，传感器跟踪模式可以辅助视觉跟踪模式。

37、在一些实施方式中，机具姿势传感器呈现校准模式和测量模式。在校准模式下，通过以下项利用视觉跟踪模式来校准机具姿势传感器的校准参数：a)执行机具的校准移动动作，特别是根据所描述的机具姿势传感器校准方法的校准移动；或者b.)基于由视觉跟踪模式和传感器跟踪模式提供的机具特征在3d环境模型内的位置信息之间的偏差，来调整机具姿势传感器校准参数。在测量模式下，机具姿势传感器提供用于执行传感器跟踪模式的机具姿势传感器数据。

38、在一些实施方式中，机具姿势传感器被配置成基于以下项来提供对校正反馈的请求：a.)由视觉跟踪模式和传感器跟踪模式提供的机具特征在3d环境模型内的位置信息之间的偏差；和/或b.)自最后一次校准以来经过的时间；和/或c.)冲击事件，其中，所测得的速度或加速度超过冲击阈值。

39、本发明还涉及一种计算机程序产品。该计算机程序产品包括程序代码，该程序代码被存储在机器可读介质上，或者由包括程序代码段的电磁波具体实施。该计算机程序产品具有计算机可执行指令，该计算机可执行指令用于特别是在运行于根据本发明的系统的计算单元上时，执行所述方法的所选实施方式的计算步骤。