具有全局和局部运动补偿的高级时域低光滤波的制作方法

背景技术：

1、包括虚拟现实(vr)和增强现实(ar)系统的混合现实(mr)系统因为其对针对其用户创建真正独一无二的体验的能力接收了极大关注。作为参考，传统的vr系统通过将其用户的视野仅限制在虚拟环境中，来创建完全沉浸式体验。这通常通过完全阻挡对真实世界的任何视野的头戴式设备(hmd)的使用来实现。因此，用户完全沉浸在虚拟环境内。相比之下，传统的ar系统通过视觉呈现放置在现实世界中或者与现实世界交互的虚拟对象来创建增强现实体验。

2、如本文所使用的，vr和ar系统可互换地描述和引用。除非另有说明，否则本文的描述同样适用于所有类型的mr系统，其(如上文详细描述的)包括ar系统、vr现实系统和/或能够显示虚拟内容的任何其他类似系统。

3、mr系统也可以采用不同类型的相机以便向用户显示内容，诸如以直通图像的形式。直通图像或视图可以帮助用户在过渡至mr环境和/或在mr环境内导航时，避免迷失方向和/或安全隐患。mr系统可以以各种方式呈现由相机捕获的视图。然而，使用由面向世界的相机捕获的图像来提供真实世界环境视图的过程产生了许多挑战。

4、为了提高显示给用户的图像的质量，一些mr系统执行所谓的“时域滤波”。“时域滤波”指代系统由其组合在多个时间点捕获的数据以生成特定输出的过程。换言之，系统本质上将多个图像彼此堆叠并且以某种方式进行组合，以产生具有改进质量的聚合图像。

5、例如，在mr系统的情境下，系统组合连续捕获的图像的图像数据以生成改进输出。作为示例，考虑低光情境。由于低光的存在，每个单独的图像都可能仅能够提供有限量的图像数据。然而，通过组合来自多个连续捕获图像的数据，系统(例如通过经由时域滤波组合来自所有这些图像的数据)可以产生合适的输出图像。在这个意义上，时域滤波的过程涉及在一定时间段内捕获多个图像帧，并且然后组合来自这些帧的图像数据以产生输出帧，导致输出帧实际上是多个输入帧的聚合的情境。

6、然而，在执行时域滤波时发生了各种挑战。例如，如果在系统捕获多个连续图像时，场景或环境中的对象正在移动，则可能导致所谓的“重影效应”。更特别地，当对象或图像伪影具有跟随对象的像素踪迹(例如运动模糊形式)时，发生重影。发生这种像素踪迹的原因在于：在生成多个连续图像时，对象在不同位置处，并且这些不同位置随后反映在最终合成图像中。

7、当相机在生成图像的同时自身经历移动时，发生另一挑战。相机的移动也可以使时域滤波过程偏斜。当相机在非mr系统情境中移动(例如可能在车辆中)时可能会是这种情况。在这一方面，有发生这些挑战的其他技术领域。又一挑战涉及最终输出图像的质量或分辨率。鉴于这些以及其他挑战，有对改进时域滤波过程的实质需求。

8、本文要求保护的主题内容不限于解决任何缺点或仅在诸如上述环境中操作的实施例。相反，提供本背景技术仅仅是为了说明本文描述的一些实施例可以在其中实践的一个示例性技术领域。

技术实现思路

1、本文公开的实施例涉及用于生成时域滤波图像的系统、设备和方法，该时域滤波图像被设计为补偿相机的全局运动并且补偿在场景内局部移动的一个或多个对象的局部运动。

2、一些实施例获取场景的历史帧和当前帧，其中当前帧由相机生成。响应于确定相机在生成当前帧时的第一姿态(例如可能使用惯性测量单元(imu)数据)，实施例对历史帧执行全局运动补偿操作，以重新投影历史帧的第二姿态以匹配第一姿态。在执行全局运动补偿操作之后，将经运动补偿的历史帧与当前帧进行比较，以标识位于经运动补偿的历史帧内的第一位置集合处、但位于当前帧内的第二位置集合处的像素集合。该像素集合对应于在场景内局部移动的一个或多个对象。而且，第二位置集合不同于第一位置集合。针对像素集合中的每个像素，实施例计算对应的光流矢量。结果，计算了多个光流矢量。这些光流矢量映射对象的移动，其中移动由在经运动补偿的历史帧中的第一位置集合并且在当前帧中的第二位置集合处的像素集合表示。实施例通过将光流矢量应用于被包括在经运动补偿的历史帧中的像素集合，以使像素集合从在经运动补偿的历史帧中的第一位置集合处移位至新位置处，来从经运动补偿的历史帧生成调整后的历史帧。调整后的历史帧中的这些新位置对应于当前帧中针对该像素集合标识的第二位置集合。在将像素集合移位至调整后的历史帧中的新位置之后，实施例利用调整后的历史帧对当前帧进行时域滤波，以生成时域滤波图像。

3、提供本技术实现要素：来以简化形式介绍精选的一些概念，这些概念将在下文的具体实施方式中进一步描述。本发明内容并不旨在于标识所要求保护的主题内容的关键特征或必要特征，也不旨在于被用于帮助确定所要求保护的主题内容的范围。

4、附加特征和优点将在随后的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践本文的教导而学习。本发明的特征和优点可以通过在所附权利要求中特别指出的仪器和组合的方式实现和获得。本发明的特征将从以下描述和所附权利要求变得更加明显，或者可以通过如下文所阐述地实践本发明来学习。

技术特征：

1.一种用于生成时域滤波图像的方法，所述时域滤波图像被设计为补偿相机的全局运动并且补偿在场景内局部移动的一个或多个对象的局部运动，所述方法包括：

2.根据权利要求1所述的方法，其中所述时域滤波图像作为针对所述方法的后续迭代的新历史帧而操作。

3.根据权利要求1所述的方法，其中所述历史帧是先前生成的时域滤波图像。

4.根据权利要求1所述的方法，其中惯性测量单元(imu)数据被用于执行所述全局运动补偿操作。

5.根据权利要求1所述的方法，其中将经运动补偿的所述历史帧与所述当前帧进行比较以标识所述像素集合在所述当前帧和经运动补偿的所述历史帧中的一个或两个被下采样至降低的分辨率之后被执行。

6.根据权利要求1所述的方法，其中所述相机是单光子雪崩二极管(spad)相机、单光子探测器、过冷相机、科学相机模块或图像增强器ii加互补金属氧化物半导体(cmos)相机中的一种。

7.根据权利要求1所述的方法，其中所述相机是低噪声相机。

8.根据权利要求1所述的方法，其中利用所述调整后的历史帧对所述当前帧进行时域滤波以生成所述时域滤波图像包括：对所述调整后的历史帧中的像素和所述当前帧中的像素进行平均。

9.根据权利要求1所述的方法，其中将经运动补偿的所述历史帧与所述当前帧进行比较以标识所述像素集合包括：计算经运动补偿的所述历史帧与所述当前帧之间的绝对差。

10.根据权利要求1所述的方法，其中针对先前在经运动补偿的所述历史帧中被所述像素集合遮挡但现在在所述调整后的历史帧中未被所述像素集合遮挡的内容，针对所述内容的图像数据从所述当前帧获得。

11.一种被配置为生成时域滤波图像的计算机系统，所述时域滤波图像被设计为补偿相机的全局运动并且补偿在场景内局部移动的一个或多个对象的局部运动，所述计算机系统包括：

12.根据权利要求11所述的计算机系统，其中针对先前在经运动补偿的所述历史帧中被所述像素集合遮挡但现在在所述调整后的历史帧中未被所述像素集合遮挡的内容，针对所述内容的图像数据从所述当前帧获得，以及

13.根据权利要求11所述的计算机系统，其中生成所述时域滤波图像通过使用所述当前帧和所述调整后的历史帧的加权平均而被执行。

14.根据权利要求11所述的计算机系统，其中所述多个光流矢量中的每个光流矢量是二维(2d)矢量。

15.根据权利要求11所述的计算机系统，其中被包括在所述多个光流矢量中的第一光流矢量不同于被包括在所述多个光流矢量中的第二光流矢量。

技术总结公开了用于生成时域滤波图像的技术，该时域滤波图像被设计为补偿相机的全局运动并且补偿对象的局部运动。获取历史帧(505)和当前帧(520)。对历史帧(505)执行全局运动补偿操作(535)，以重新投影历史帧(505)的姿态(510)以匹配当前帧(520)的姿态(525)。将经运动补偿的历史帧与当前帧(520)进行比较，以标识表示移动对象(530、545)的像素。针对这些像素中的每个像素，计算光流矢量。然后该光流矢量被应用于这些像素，以使这些像素移位至新位置。调整后的历史帧(560)中的这些新位置对应于在当前帧(520)中标识了的位置。之后，利用历史帧对当前帧进行时域滤波。技术研发人员：R·K·普里塞,M·布莱耶,C·D·埃德蒙兹受保护的技术使用者：微软技术许可有限责任公司技术研发日：技术公布日：2024/9/17