使用运动数据生成更高分辨率图像的制作方法

背景技术：

1、混合现实(mixed-reality，mr)系统(包括虚拟现实(virtual-reality，vr)系统和增强现实(augmented-reality，ar)系统)由于为其用户创造真正独特体验的能力而已经收到了相当大的关注。作为参考，常规的vr系统通过将其用户视野仅限制为虚拟环境来创造完全沉浸式的体验。这往往是通过使用完全阻挡现实世界的任何视野的头戴式设备(headmounted device，hmd)来实现的。结果，用户完全沉浸在虚拟环境内。相比之下，常规的ar系统通过可视地呈现放置在现实世界中的或与现实世界交互的虚拟对象来创造增强现实体验。

2、如本文所使用的，vr系统和ar系统可互换地进行描述和引用。除非另有说明，否则本文的描述同等地适用于所有类型的mr系统，包括(如上详述的)ar系统、vr现实系统和/或任何其他能够显示虚拟内容的类似系统。

3、mr系统也可以采用不同类型的相机以便向用户(诸如以穿透(passthrough)图像的形式)显示内容。穿透图像或视野可以辅助用户在过渡到mr环境中和/或在mr环境内导航时避免迷失方向和/或安全隐患。mr系统可以以各种方式呈现由相机捕获的视野。然而，使用由面向世界的相机所捕获的图像来提供现实世界环境的视野的过程创造了许多挑战。

4、为了提高显示给用户的图像的质量，一些mr系统执行所谓的“时域滤波(temporalfiltering)”。时域滤波是指系统用来组合在多个时间点内捕获的数据以便生成特定输出的过程。换句话说，系统实质上将多个图像堆叠在彼此之上并且以某种方式组合它们以便产生质量提高的聚合图像。

5、例如，在mr系统场景中，系统将连续捕获的图像的图像数据进行组合以便生成改进的输出。作为示例，考虑弱光场景。由于弱光，每个单独的图像可能只能提供有限量的图像数据。然而，通过将来自多个连续捕获的图像的数据进行组合，系统(例如，通过将来自经由时域滤波的所有那些图像的数据进行组合)可以产生合适的输出图像。在这个意义上，时域滤波的过程涉及：在一段时间内捕获多个图像帧，然后对来自这些帧的图像数据进行组合以产生输出帧，从而导致输出帧实际上是多个输入帧的聚合的场景。

6、然而，在执行时域滤波时，出现各种挑战。例如，当系统捕获多个连续的图像时，如果场景或环境中的对象正在移动，则可能造成所谓的“重影效应(ghosting effect)”。更具体地，当对象或图像伪影具有跟随对象的像素轨迹(例如，一种运动模糊形式)时，出现重像。这种像素轨迹的出现是因为当正在生成多个连续的图像时，对象处于不同的位置，并且这些不同的位置然后被反映在最终的合成图像中。

7、当相机本身在其正在生成图像时经历移动时，出现另一挑战。相机的移动也可能扭曲时域滤波过程。情况可能是相机正在非mr系统场景中(诸如可能是在车辆中)移动。相应地，这些挑战也出现在其他技术领域中。另一挑战涉及最终输出图像的质量或分辨率。鉴于这些挑战以及其他挑战，非常需要改进时域滤波过程。

8、本文要求保护的主题不限于解决任何缺点的或仅在诸如上述那些环境中进行操作的实施例。更确切地，提供本背景技术仅是为了说明可以实践本文描述的一些实施例的一个示例性技术领域。

技术实现思路

1、本文公开的实施例涉及用于使用运动数据从具有稀疏颜色信息的多个图像中生成高分辨率输出彩色图像的系统、设备和方法。

2、在一些实施例中，相机生成图像。相机的传感器被配置为具有稀疏拜耳阵列(sparse bayer pattern)，稀疏拜耳阵列包括一个或多个红色像素、一个或多个绿色像素、一个或多个蓝色像素和多个单色像素。当相机正在生成图像时，实施例获取针对每个图像的对应的imu数据。imu数据指示相机生成每个图像时相机所处的对应姿态。实施例还将图像和imu数据馈送到运动模型中。运动模型对图像执行时域滤波，并且使用imu数据以生成纯红色图像(red-only image)、纯绿色图像(green-only image)和纯蓝色图像(blue-onlyimage)。高分辨率输出彩色图像是通过将纯红色图像、纯绿色图像和纯蓝色图像进行组合来生成的。

3、在一些实施例中，实施例获取反映相机生成图像时相机所处的对应姿态的补充信息。该补充数据然后可以作为输入与图像一起被馈送到运动模型中，以便生成纯红色图像、纯绿色图像和纯蓝色图像。

4、在一些实施例中，运动模型被配置为通过将图像中包括的红色像素与非红色像素隔离开并且通过借由将每个相应的红色像素放置在纯红色图像内对应的纯红色图像坐标处而利用红色像素填充纯红色图像来生成纯红色图像。对应的纯红色图像坐标是使用imu数据来确定的。运动模型还被配置为通过将图像中包括的绿色像素与非绿色像素隔离开并且通过借由将每个相应的绿色像素放置在纯绿色图像内对应的纯绿色图像坐标处而利用绿色像素填充纯绿色图像来生成纯绿色图像。对应的纯绿色图像坐标是使用imu数据来确定的。运动模型还被配置为通过将图像中包括的蓝色像素与非蓝色像素隔离开并且通过借由将每个相应的蓝色像素放置在纯蓝色图像内对应的纯蓝色图像坐标处而利用蓝色像素填充纯蓝色图像来生成纯蓝色图像。对应的纯蓝色图像坐标是使用imu数据来确定的。

5、提供本技术实现要素：是为了以简化的形式引入将在以下详细描述中进一步描述的一些概念。本发明内容不旨在认定所要求保护的主题的关键特征或必要特征，也不旨在用于辅助确定所要求保护的主题的范围。

6、附加的特征和优点将在下面的描述中阐述，并且部分将从描述中显而易见，或者可以通过实践本文的教导而了解。本发明的特征和优点可以通过所附权利要求中特别指出的工具和组合来实现和获得。本发明的特征将从以下描述和所附权利要求中变得更加完全明显，或者可以通过如下文所述实践本发明来了解。

技术特征：

1.一种用于使用运动数据从具有稀疏颜色信息的多个图像生成高分辨率输出彩色图像的方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述多个图像中的每个图像包括稀疏颜色数据和稀疏强度数据，并且

3.根据权利要求1所述的方法，其中生成所述纯红色图像通过以下方式而被执行：将被包括在所述多个图像中的红色像素与非红色像素进行隔离，并且通过将每个相应的红色像素放置在所述纯红色图像内的对应的纯红色图像坐标处而利用所述红色像素填充所述纯红色图像，其中所述对应的纯红色图像坐标使用所述多个imu数据而被确定。

4.根据权利要求3所述的方法，其中生成所述纯绿色图像通过以下方式而被执行：将被包括在所述多个图像中的绿色像素与非绿色像素进行隔离，并且通过将每个相应的绿色像素放置在所述纯绿色图像内的对应的纯绿色图像坐标处而利用所述绿色像素填充所述纯绿色图像，其中所述对应的纯绿色图像坐标使用所述多个imu数据而被确定。

5.根据权利要求4所述的方法，其中生成所述纯蓝色图像通过以下方式而被执行：将被包括在所述多个图像中的蓝色像素与非蓝色像素进行隔离，并且通过将每个相应的蓝色像素放置在所述纯蓝色图像内的对应的纯蓝色图像坐标处而利用所述蓝色像素填充所述纯蓝色图像，其中所述对应的纯蓝色坐标使用所述多个imu数据而被确定。

6.一种计算机系统，被配置为使用运动数据从具有稀疏颜色信息的多个图像生成高分辨率输出彩色图像，所述计算机系统包括：

7.根据权利要求6所述的计算机系统，其中所述多个单色像素多于所述一个或多个红色像素、所述一个或多个绿色像素和所述一个或多个蓝色像素的总和。

8.根据权利要求6所述的计算机系统，其中所述高分辨率输出彩色图像的分辨率高于被包括在所述多个图像中的任何图像的分辨率。

9.根据权利要求6所述的计算机系统，其中所述相机是弱光相机，并且其中所述多个图像是多个弱光图像。

10.一种用于使用运动数据从具有稀疏颜色信息的多个图像生成高分辨率输出彩色图像的方法，所述方法包括：

11.根据权利要求10所述的方法，其中所述运动模型还被配置为：

12.根据权利要求11所述的方法，其中所述高分辨率输出彩色图像通过将由所述单色图像提供的强度与由所述纯红色图像、所述纯绿色图像和所述纯蓝色图像提供的颜色进行合并而被生成。

13.根据权利要求11所述的方法，其中所述单色图像的分辨率高于所述多个图像中的任何图像的分辨率。

14.根据权利要求13所述的方法，其中所述纯绿色图像的分辨率高于所述多个图像的所述分辨率。

15.根据权利要求14所述的方法，其中所述纯蓝色图像的分辨率高于所述多个图像的所述分辨率。

技术总结公开了用于使用运动数据从具有稀疏颜色信息的多个图像生成高分辨率输出彩色图像的技术。相机生成多个图像。相机的传感器被配置为具有稀疏拜耳阵列。在相机正在生成图像时，获取针对每个图像的IMU数据。IMU数据指示在相机生成每个图像时相机所处的对应姿态。图像和IMU数据作为输入被馈送到运动模型中。运动模型对图像执行时域滤波，并且使用IMU数据生成纯红色图像、纯绿色图像和纯蓝色图像。高分辨率输出彩色图像是通过将纯红色图像、纯绿色图像和纯蓝色图像进行组合来生成的。技术研发人员：R·K·普里塞,M·布莱耶,C·D·埃德蒙兹受保护的技术使用者：微软技术许可有限责任公司技术研发日：技术公布日：2024/7/25