用于减少SLAM中的存储器使用的关键帧下采样的制作方法

本申请总体上涉及数据处理技术，包括但不限于在扩展现实应用中选择性存储用于定位相机和映射环境的关键帧的方法、系统、以及非暂时性计算机可读介质。

背景技术：

1、同时定位与建图(simultaneous localization and mapping，slam)广泛应用于虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)、自动驾驶和导航。在slam中，通过传感器融合实现高频位姿估计。异步时间扭曲(asynchronous time warping，atw)通常与slam一起应用于ar系统，以在图像发送到显示器之前对图像进行扭曲，从而校正图像渲染后发生的头部移动。在slam和atw中，相关图像数据和惯性传感器数据被同步，并用于估计和预测相机位姿。对于定位，许多slam系统通过检测角点和提取关键帧图像上的图像描述符来抑制惯性传感器数据的累积误差。每个关键帧图像与使用视觉词袋(bagof visual word)数据结构导出的描述符相关联，并且新图像的对应描述符与现有关键帧图像的对应描述符进行比较，以定位新图像。计算成本随着现有关键帧图像数量的增加而增加，并且当现有关键帧图像的数量达到巨大的或全球规模的数量，例如10亿时，计算成本将会失控。

2、传统的解决方案使用两个连续图像之间的光流(optical flow)长度减少关键帧图像的数量。当不同光流的平均长度较短时，传统的解决方案会等待新图像以寻找更多的光流长度，并且当足够时设置下一个关键帧。另外，当相机具有相对于平移运动的显著旋转运动时，这种显著的旋转运动无法进行三角测量以进行3d计算，并且相关联的关键帧无效并被移除。较小的六度运动(six degree-of-motion，6dof)运动应用于识别近距离物体，但不利于关键帧的下采样。与目前的做法相比，使用更少的关键帧建立更高效的slam机制将是有益的。

技术实现思路

1、本申请的各种实施例涉及用描述符映射虚拟空间的slam技术。相机被定位并用于捕获场景中的图像，并且该场景被映射到包括多个地标的虚拟空间。每个图像(也称为关键帧)对应于相机的相机位姿(即，相机位置和相机朝向)，并且记录场景中的一组地标。处理每个关键帧以为场景的该组地标提供一组描述符，并且该组描述符与相机位姿相关联。从每个地标的角度来看，各个地标被记录在一个或多个关键帧中，上述一个或多个关键帧提供与一个或多个相应相机位姿相关联的一个或多个描述符以描述相应地标。随着相机捕获的关键帧数量的增加，存储器使用量也会增加。在一些实施例中，对关键帧的数量或每个关键帧中的相关联地标的数量进行下采样，以减少slam需要存储的描述符的数量。例如，当相机位姿具有多个描述符时，选择这些描述符的一部分以映射地标，因为其他未选择的描述符与其他关键帧的描述符基本类似。当描述符的所选部分较小时，该相机位姿对虚拟空间的映射数据的总体精度的贡献是有限的，并且相机位姿和对应的关键帧被完全禁止提供包括所选部分的任何描述符以映射该组地标。这种关键帧下采样机制可以应用于各种基于slam的产品中，例如ar眼镜、机器人系统、自动驾驶、无人机、或实现ar应用的移动设备。

2、在一方面，一种方法在具有相机的电子系统实现。该方法包括获得图像数据，该图像数据包括由相机在场景中捕获的多个图像，并且多个图像中的每个图像包括第一地标。该方法还包括从图像数据生成第一地标的多个地标描述符，以及识别多个地标描述符的多个相机位姿。每个地标描述符是从包括第一地标并且以不同的相机位姿捕获的不同图像生成的。该方法还包括根据确定多个相机位姿中的两个相机位姿满足描述符消除标准，选择与多个相机位姿中的两个相机位姿中的第一相机位姿相对应的第一地标描述符以映射场景中的第一地标。

3、在一些实施例中，该方法还包括根据确定多个相机位姿中的两个相机位姿满足描述符消除标准，取消选择与多个相机位姿中的两个相机位姿中的第二相机位姿相对应的第二不同地标描述符映射场景中的第一地标。在一些实施例中，该方法还包括用多个地标描述符的子集映射第一地标。多个地标描述符的子集对应于捕获多个图像的子集的不同相机位姿的子集。多个地标描述符的子集是根据确定不同相机位姿的子集中的任何两个相机位姿都不满足描述符消除标准而选择的。

4、在另一方面，一些实施方式包括一种电子系统，该电子系统包括一个或多个处理器和其上存储有指令的存储器，当被一个或多个处理器执行时，上述指令使得处理器执行上述方法中的任一种。

5、在又一方面，一些实施方式包括其上存储有指令的非暂时性计算机可读介质，当被一个或多个处理器执行时，上述指令使得处理器执行上述方法中的任一种。

6、提及这些示例性实施例和实施方式并非为了限制或定义本公开内容，而是为了提供示例以帮助理解本公开。具体实施方式中讨论了其他实施例，并提供了进一步描述。

技术特征：

1.一种在具有相机的电子系统实现的方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述第一地标描述符是从第一图像生成的，所述第一图像早于生成所述第二不同地标描述符的第二图像被捕获，并且基于所述描述符消除标准，所述第二不同地标描述符被消除的优先级高于所述第一地标描述符。

4.根据前述权利要求中任一项所述的方法，还包括：

5.根据前述权利要求中任一项所述的方法，其中，所述多个图像包括目标图像，所述目标图像具有与第一数量的地标描述符相对应的所述第一数量的地标，所述方法还包括，对于所述目标图像：

6.根据权利要求5所述的方法，其中，所述图像消除标准要求所述第二数量和所述第一数量的比率超过预定阈值。

7.根据权利要求6所述的方法，其中，所述目标关键帧对应于所述多个相机位姿中的所述两个相机位姿中的所述第一相机位姿，并且所述地标子集不同于所述第一地标，并且其中，取消选择所述第一数量的地标描述符映射所述多个地标还包括：

8.根据前述权利要求中任一项所述的方法，每个不同的相机位姿包括相应相机位置和相应相机位姿，还包括：

9.根据权利要求8所述的方法，其中，所述射线角度阈值在[5°-10°]的范围内。

10.根据前述权利要求中任一项所述的方法，还包括：

11.根据权利要求10所述的方法，其中，对于所述场景中的每个地标，根据确定所述一个或多个相关联的相机位姿中的任何两个相机位姿都不满足所述描述符消除标准，选择所述一个或多个地标描述符。

12.根据权利要求10所述的方法，还包括

13.根据权利要求12所述的方法，所述多个特征点包括第一特征点，所述方法还包括：

14.根据权利要求12所述的方法，还包括：

15.一种电子系统，包括：

16.一种非暂时性计算机可读介质，其上存储有指令，当被一个或多个处理器执行时，所述指令使得所述处理器执行根据权利要求1至14中任一项所述的方法。

技术总结本申请针对扩展现实中的同时定位与建图(SLAM)。一种电子系统具有相机，并获得包括由相机在场景中捕获的多个图像的图像数据。多个图像中的每个图像包括第一地标。该电子系统从图像数据生成第一地标的多个地标描述符，并且识别多个地标描述符的多个相机位姿。每个地标描述符是从包括第一地标并且以不同的相机位姿捕获的不同图像生成的。根据确定多个相机位姿中的两个相机位姿满足描述符消除标准，该电子系统选择与多个相机位姿中的上述两个相机位姿中的第一相机位姿相对应的第一地标描述符以映射场景中的第一地标。技术研发人员：全在春,夏友杰受保护的技术使用者：创峰科技技术研发日：技术公布日：2024/11/21