用于对象跟踪和位置预测的系统和方法与流程

背景技术：

1、随着技术的进步，先前由人类执行的任务变得越来越自动化。虽然在高度受控环境(诸如工厂组装线)中执行的任务可以通过引导机器每次以相同的方式执行任务来实现自动化，但是在不可预测的环境中执行的任务(诸如在城市街道上行驶或用吸尘器清理杂乱的房间)取决于动态反馈和自适应来执行任务。自主系统通常难以在不可预测的环境中标识和定位对象。改进的对象跟踪方法将推动自动化技术的发展，并提高自主系统对不可预测的环境做出反应和适应的能力。

技术实现思路

1、在各种方面中，本公开提供了一种预测被跟踪对象相对于移动交通工具的位置的方法，所述方法包括：在第一时间的第一图像中，确定第一组对象相对于移动交通工具的第一组实际位置；在第二时间的第二图像中，确定第二组对象相对于所述移动交通工具的第二组实际位置，其中所述第二组对象包括与所述第一组对象相同的一个或多个对象；将多个测试偏移应用于所述第一组对象的所述第一组实际位置以获得所述第一组对象在所述第二时间的一组测试位置，其中所述多个测试偏移中的每个测试偏移基于第一对象在所述第一时间的第一实际位置与第二对象在所述第二时间的第二实际位置之间的距离来确定；确定所述第一组对象在所述第二时间的所述一组测试位置中的所述测试位置中的每一者与所述第二组对象在所述第二时间的所述第二组实际位置中的每一者之间的多个偏差，其中所述多个偏差中的每个偏差对应于所述多个测试偏移中的测试偏移；基于所述多个偏差从所述多个测试偏移中选择细化偏移；以及标识包括在所述第一组对象和所述第二组对象两者中的被跟踪对象。

2、在一些方面中，所述方法还包括将所述细化偏移应用于第一组对象在所述第一时间的所述第一组实际位置以建立所述第一组对象在所述第二时间的一组偏移位置。在一些方面中，所述方法还包括根据所述被跟踪对象在所述第一时间的所述第一图像中的实际位置和所述被跟踪对象在所述第二时间的所述第二图像中的实际位置来确定所述被跟踪对象在所述第一时间与所述第二时间之间的矢量移位。在一些方面中，所述细化偏移是所述多个测试偏移中具有最小对应偏差的测试偏移。在一些方面中，所述方法还包括确定所述移动交通工具的矢量速度。

3、在各种方面中，本公开提供了一种预测被跟踪对象相对于移动交通工具的位置的方法，所述方法包括：在第一时间的第一图像中，确定第一组对象相对于移动交通工具的第一组实际位置；在第二时间的第二图像中，确定第二组对象相对于所述移动交通工具的第二组实际位置，其中所述第二组对象包括与所述第一组对象相同的一个或多个对象；将预测偏移应用于所述第一组对象的所述第一组实际位置以产生一组中间位置，其中所述预测偏移是基于所述移动交通工具的矢量速度以及所述第一时间与所述第二时间之间的时间差；将第二偏移应用于所述一组中间位置以获得所述第一组对象在所述第二时间的一组偏移位置，其中所述第二偏移基于第一对象的所述一组中间位置中的第一中间位置与第二对象在所述第二时间的第二实际位置之间的距离来确定；标识包括在所述第一组对象中的被跟踪对象；指定搜索区域；从所述第二组实际位置中选择所述第二组对象中的所述被跟踪对象在所述第二时间的所述第二图像中的实际位置，其中所述被跟踪对象在所述第二时间的所述第二图像中的所述实际位置在所述搜索区域内；以及根据所述被跟踪对象在所述第一时间的所述第一图像中的实际位置和所述被跟踪对象在所述第二时间的所述第二图像中的实际位置来确定所述被跟踪对象在所述第一时间与所述第二时间之间的矢量移位。

4、在一些方面中，所述被跟踪对象的所述一组中间位置中的中间位置在所述搜索区域内。在一些方面中，所述方法包括指定所述被跟踪对象的所述中间位置周围的所述搜索区域。在一些方面中，所述方法包括指定所述被跟踪对象的所述实际位置周围的所述搜索区域。

5、在各种方面中，本公开提供了一种预测被跟踪对象相对于移动交通工具的位置的方法，所述方法包括：在第一时间的第一图像中，确定第一组对象相对于移动交通工具的第一组实际位置；在第二时间的第二图像中，确定第二组对象相对于所述移动交通工具的第二组实际位置，其中所述第二组对象包括与所述第一组对象相同的一个或多个对象；标识包括在所述第一组对象中的被跟踪对象；将预测偏移应用于所述被跟踪对象在所述第一时间的所述第一图像中的实际位置以产生所述被跟踪对象在所述第二时间的偏移位置，其中所述预测偏移是基于所述移动交通工具的矢量速度以及所述第一时间与所述第二时间之间的时间差；指定搜索区域；从所述第二组实际位置中选择所述第二组对象中的所述被跟踪对象在所述第二时间的所述第二图像中的实际位置，其中所述被跟踪对象在所述第二时间的所述第二图像中的所述实际位置在所述搜索区域内；以及根据所述被跟踪对象在所述第一时间的所述第一图像中的实际位置和所述被跟踪对象在所述第二时间的所述第二图像中的实际位置来确定所述被跟踪对象在所述第一时间与所述第二时间之间的矢量移位。

6、在一些方面中，所述方法包括指定所述被跟踪对象的所述偏移位置周围的所述搜索区域。在一些方面中，所述方法包括指定所述被跟踪对象的所述实际位置周围的所述搜索区域。在一些方面中，所述被跟踪对象的所述偏移位置在所述搜索区域内。在一些方面中，所述方法包括将所述预测偏移应用于所述第一组实际位置中的每个位置以产生一组偏移位置。在一些方面中，所述方法还包括将第二偏移应用于所述偏移位置以产生所述被跟踪对象的修正偏移位置，其中所述第二偏移是基于所述一组偏移位置中的偏移位置与所述第二组实际位置中的实际位置之间的距离。在一些方面中，所述方法包括指定所述被跟踪对象的所述修正偏移位置周围的所述搜索区域。在一些方面中，所述被跟踪对象的所述修正偏移位置在所述搜索区域内。

7、在一些方面中，所述方法还包括基于所述被跟踪对象在所述第一时间与所述第二时间之间的所述矢量移位以及所述移动交通工具的所述矢量速度来确定所述被跟踪对象随时间的轨迹。在一些方面中，所述方法还包括基于所述被跟踪对象在所述第一时间与所述第二时间之间的所述矢量移位以及所述第二时间与第三时间之间经过的时间来确定所述被跟踪对象在所述第三时间的预测位置。

8、在各种方面中，本公开提供了一种预测被跟踪对象相对于移动交通工具的位置的方法，所述方法包括：在第一时间的第一图像中，确定第一组对象相对于移动交通工具的第一组实际位置；标识包括在所述第一组对象中的被跟踪对象；确定所述移动交通工具的矢量速度；以及基于所述矢量速度、所述第一时间与所述第二时间之间的时间差以及所述被跟踪对象在所述第一时间的所述第一图像中的实际位置来确定所述被跟踪对象在第二时间的预测位置。

9、在一些方面中，使用光流、旋转编码器、全球定位系统或其组合来确定所述矢量速度。在一些方面中，使用连续图像帧来执行光流。在一些方面中，使用重叠至少10％的图像帧来确定光流。在一些方面中，使用移位不超过约90％的图像帧来确定光流。

10、在一些方面中，所述第一组实际位置、所述第二组实际位置、所述一组偏移位置、所述预测位置或其组合包括第一维度和第二维度。在一些方面中，所述第一维度平行于所述移动交通工具的运动方向。在一些方面中，所述第一维度和所述第二维度平行于包括所述第一图像或所述第二图像的图像平面。在一些方面中，所述第一组实际位置、所述第二组实际位置、所述一组偏移位置、所述预测位置或其组合还包括第三维度。在一些方面中，所述第三维度垂直于包括所述第一图像或所述第二图像的图像平面。在一些方面中，所述第三维度基于所述移动交通工具的所述矢量速度和所述被跟踪对象的所述矢量移位来确定。在一些方面中，沿着所述第一维度应用所述测试偏移、所述预测偏移或所述细化偏移。在一些方面中，在所述第一维度和所述第二维度中应用所述测试偏移、所述预测偏移或所述细化偏移。在一些方面中，在所述第一维度、所述第二维度和所述第三维度中应用所述测试偏移、所述预测偏移或所述细化偏移。

11、在一些方面中，所述方法还包括确定所述被跟踪对象的参数。在一些方面中，所述参数包括大小、形状、植物类别、取向或植物类型。在一些方面中，所述植物类别是杂草或作物。在一些方面中，所述方法还包括确定所述参数的置信度值。在一些方面中，所述方法还包括基于所述预测位置和所述被跟踪对象在所述第一时间的所述第一图像中的所述实际位置、所述被跟踪对象在所述第二时间的所述第二图像中的所述实际位置或两者来确定第二预测位置。

12、在一些方面中，所述方法还包括在所述预测位置处瞄准所述被跟踪对象。在一些方面中，瞄准所述被跟踪对象包括校正所述第一图像中的视差、畸变、所述第二图像中的畸变、瞄准畸变或其组合。在一些方面中，瞄准所述被跟踪对象包括将瞄准传感器、执行器或两者瞄准所述预测位置。在一些方面中，瞄准所述被跟踪对象还包括用所述瞄准传感器、所述执行器或两者动态地跟踪所述对象。在一些方面中，动态地跟踪所述对象包括移动所述瞄准传感器、所述执行器或两者以匹配所述移动交通工具的所述矢量速度，使得所述瞄准传感器、所述执行器或两者在所述移动交通工具移动时保持瞄准所述预测位置。在一些方面中，所述执行器包括激光器、喷射器或抓取器。在一些方面中，瞄准所述被跟踪对象还包括用所述执行器来操纵所述被跟踪对象。在一些方面中，操纵所述被跟踪对象包括用电磁辐射照射所述被跟踪对象、移动所述被跟踪对象、喷射所述被跟踪对象或其组合。在一些方面中，所述电磁辐射是红外光。

13、在一些方面中，所述被跟踪对象定位于表面上。在一些方面中，所述表面是地面、泥土路面或农业表面。在一些方面中，所述第一组对象、所述第二组对象、所述被跟踪对象或其组合包括植物。在一些方面中，所述第一组对象、所述第二组对象、所述被跟踪对象或其组合包括杂草。在一些方面中，所述第一组对象、所述第二组对象、所述被跟踪对象或其组合包括作物。在一些方面中，所述被跟踪对象是植物。在一些方面中，所述被跟踪对象是杂草。在一些方面中，所述被跟踪对象是作物。在一些方面中，所述移动交通工具是拖车或自主交通工具。在一些方面中，所述方法还包括用传感器采集所述第一图像、所述第二图像或两者。在一些方面中，所述传感器联接到所述移动交通工具。

14、在各种方面中，本公开提供了一种对象跟踪系统，其包括：预测系统，所述预测系统包括传感器，所述传感器被配置为采集第一时间的第一图像和第二时间的第二图像，其中所述传感器联接到交通工具；以及瞄准系统，所述瞄准系统包括执行器；其中所述预测系统被配置为：在所述第一时间的所述第一图像中，确定第一组对象相对于所述交通工具的第一组实际位置；在所述第二时间的所述第二图像中，确定第二组对象相对于所述交通工具的第二组实际位置，其中所述第二组对象包括与所述第一组对象相同的一个或多个对象；将多个测试偏移应用于所述第一组对象的所述第一组实际位置以获得所述第一组对象在所述第二时间的一组测试位置，其中所述多个测试偏移中的每个测试偏移基于第一对象在所述第一时间的第一实际位置与第二对象在所述第二时间的第二实际位置之间的距离来确定；确定所述第一组对象在所述第二时间的所述一组测试位置中的所述测试位置中的每一者与所述第二组对象在所述第二时间的所述第二组实际位置中的每一者之间的多个偏差，其中所述多个偏差中的每个偏差对应于所述多个测试偏移中的测试偏移；基于所述多个偏差从所述多个测试偏移中选择细化偏移；以及标识包括在所述第一组对象和所述第二组对象两者中的被跟踪对象；并且其中所述瞄准系统被配置为用所述执行器瞄准所述被跟踪对象。

15、在一些方面中，所述交通工具被配置为相对于表面移动。在一些方面中，所述第一组对象、所述第二组对象、所述被跟踪对象或其组合定位于所述表面上。在一些方面中，所述第一组对象、所述第二组对象、所述被跟踪对象或其组合包括植物。在一些方面中，所述第一组对象、所述第二组对象、所述被跟踪对象或其组合包括杂草。在一些方面中，所述第一组对象、所述第二组对象、所述被跟踪对象或其组合包括作物。

16、在一些方面中，所述交通工具包括自主交通工具或拖车。在一些方面中，所述传感器是相机。在一些方面中，所述传感器相对于所述交通工具是固定的。在一些方面中，所述执行器被配置为指向所述被跟踪对象并操纵所述被跟踪对象。在一些方面中，所述瞄准系统还包括瞄准传感器。在一些方面中，所述瞄准传感器被配置为指向所述被跟踪对象并对所述被跟踪对象进行成像。在一些方面中，所述瞄准系统被配置为基于所述被跟踪对象在由所述瞄准传感器采集的瞄准图像中的位置来将所述执行器瞄准所述被跟踪对象。在一些方面中，所述执行器是激光器。在一些方面中，所述对象跟踪系统被配置为执行如本文所描述的方法。

17、通过引用并入

18、本说明书中提及的所有出版物、专利和专利申请通过引用并入本文，就如同每个单独的出版物、专利或专利申请被具体地和单独地指示通过引用并入本文一样。