用于改进的对象姿态估计的语义SLAM框架的制作方法

本公开总体上涉及计算机视觉和机器学习系统，并且更特别地涉及对于各种对象的基于图像的姿态估计。

背景技术：

1、一般来说，存在各种各样涉及六自由度(6dof)对象姿态估计的计算机应用，诸如机器人导航、自动驾驶和增强现实(ar)应用。对于6dof对象姿态估计，原型方法通常依赖于为每一个对象预定义的语义关键点的检测。然而，关于检测无纹理或对称对象的语义关键点存在许多挑战，因为它们的一些语义关键点可能成为互换的。因此，对跨不同参考系的那些对象的语义关键点的检测可能是高度不一致的，使得它们不能对世界坐标系下的有效6dof姿态做出贡献。

技术实现思路

1、以下是下文详细描述的某些实施例的概要。呈现所描述的方面仅仅是为了向读者提供这些特定实施例的简要概要，并且这些方面的描述不旨在限制本公开的范围。实际上，本公开可以包含下面可能没有明确阐述的各种各样的方面。

2、根据至少一个方面，一种计算机实施的方法包括获得显示具有第一对象和第二对象的场景的图像。该方法包括生成对应于所述第一对象的第一组二维(2d)关键点。该方法包括基于所述第一组2d关键点生成第一对象姿态数据。该方法包括基于所述第一对象姿态数据生成相机姿态数据。所述相机姿态数据对应于所述图像的捕捉。该方法包括基于所述相机姿态数据来生成关键点热图。该方法包括基于所述关键点热图生成对应于所述第二对象的第二组2d关键点。该方法包括基于所述第二组2d关键点生成第二对象姿态数据。该方法包括使用所述第一对象姿态数据和所述相机姿态数据来生成所述第一对象在世界坐标中的第一坐标数据。该方法包括使用所述第二对象姿态数据和所述相机姿态数据来生成所述第二对象在所述世界坐标中的第二坐标数据。该方法包括使用所述第一坐标数据在所述世界坐标中跟踪所述第一对象。该方法包括使用所述第二坐标数据在所述世界坐标中跟踪所述第二对象。

3、根据至少一个方面，一种系统至少包括相机和处理器。所述处理器与所述相机进行数据通信。所述处理器可操作为从所述相机接收多个图像。所述处理器可操作为获得显示具有第一对象和第二对象的场景的图像。所述处理器可操作为生成对应于所述第一对象的第一组2d关键点。所述处理器可操作为基于所述第一组2d关键点生成第一对象姿态数据。所述处理器可操作为基于所述第一对象姿态数据生成相机姿态数据。所述相机姿态数据对应于所述图像的捕捉。所述处理器可操作为基于所述相机姿态数据来生成关键点热图。所述处理器可操作为基于所述关键点热图生成对应于所述第二对象的第二组2d关键点。所述处理器可操作为基于所述第二组2d关键点生成第二对象姿态数据。所述处理器可操作为使用所述第一对象姿态数据和所述相机姿态数据来生成所述第一对象在世界坐标中的第一坐标数据。所述处理器可操作为使用所述第二对象姿态数据和所述相机姿态数据来生成所述第二对象在所述世界坐标中的第二坐标数据。所述处理器可操作为基于所述第一坐标数据跟踪所述第一对象。处理器可操作为基于所述第二坐标数据跟踪所述第二对象。

4、根据至少一个方面，一个或多个非暂时性计算机可读存储介质存储具有指令的计算机可读数据，当由一个或多个处理器执行时，所述指令促使所述一个或多个处理器执行一种方法。该方法包括生成对应于所述第一对象的第一组2d关键点。该方法包括基于所述第一组2d关键点生成第一对象姿态数据。该方法包括基于所述第一对象姿态数据生成相机姿态数据。所述相机姿态数据对应于所述图像的捕捉。该方法包括基于所述相机姿态数据来生成关键点热图。该方法包括基于所述关键点热图生成对应于所述第二对象的第二组2d关键点。该方法包括基于所述第二组2d关键点生成第二对象姿态数据。该方法包括使用所述第一对象姿态数据和所述相机姿态数据来生成所述第一对象在世界坐标中的第一坐标数据。该方法包括使用所述第二对象姿态数据和所述相机姿态数据来生成所述第二对象在所述世界坐标中的第二坐标数据。该方法包括使用所述第一坐标数据在所述世界坐标中跟踪所述第一对象。该方法包括使用所述第二坐标数据在所述世界坐标中跟踪所述第二对象。

5、本发明的这些和其他特征、方面和优点在以下详细说明中根据附图进行了讨论，遍及所述附图，相似的字符表示类似或相似的部件。

技术特征：

1.一种用于各种对象的语义定位的计算机实施的方法，该方法包括：

2.根据权利要求1所述的计算机实施的方法，其中：

3.根据权利要求1所述的计算机实施的方法，进一步包括：

4.根据权利要求1所述的计算机实施的方法，进一步包括：

5.根据权利要求1所述的计算机实施的方法，其中：

6.根据权利要求1所述的计算机实施的方法，进一步包括：

7.根据权利要求1所述的计算机实施的方法，进一步包括：

8.一种系统，包括：

9.根据权利要求8所述的系统，其中：

10.根据权利要求8所述的系统，其中，所述处理器进一步可操作为：

11.根据权利要求8所述的系统，其中，所述处理器进一步可操作为：

12.根据权利要求8所述的系统，其中：

13.根据权利要求8所述的系统，其中，所述处理器进一步可操作为：

14.根据权利要求8所述的系统，其中，所述处理器进一步可操作为：

15.一个或多个非暂时性计算机可读存储介质，其存储具有指令的计算机可读数据，当由一个或多个处理器执行时，所述指令促使所述一个或多个处理器执行一种方法，所述方法包括：

16.根据权利要求15所述的一个或多个非暂时性计算机可读存储介质，其中：

17.根据权利要求15所述的一个或多个非暂时性计算机可读存储介质，其中，所述方法进一步包括：

18.根据权利要求15所述的一个或多个非暂时性计算机可读存储介质，其中，所述方法进一步包括：

19.根据权利要求15所述的一个或多个非暂时性计算机可读存储介质，其中：

20.根据权利要求15所述的一个或多个非暂时性计算机可读存储介质，其中，所述方法进一步包括：

技术总结一种用于各种对象的语义定位的计算机实施的系统和方法包括从相机获得图像。该图像显示具有第一对象和第二对象的场景。关于第一对象生成第一组2D关键点。基于第一组2D关键点生成第一对象姿态数据。基于第一对象姿态数据生成相机姿态数据。使用相机姿态数据生成关键点热图。基于关键点热图，关于第二对象生成第二组2D关键点。基于第二组2D关键点生成第二对象姿态数据。使用第一对象姿态数据和相机姿态数据在世界坐标中生成第一对象的第一坐标数据。使用第二对象姿态数据和相机姿态数据在世界坐标中生成第二对象的第二坐标数据。基于第一坐标数据跟踪第一对象。基于第二坐标数据跟踪第二对象。技术研发人员：任骝,黄新宇,郭玉亮受保护的技术使用者：罗伯特·博世有限公司技术研发日：技术公布日：2024/11/4