基于纹理的自动曝光控制算法的制作方法

本公开总体涉及摄像头曝光以及追踪环境中的对象。

背景技术：

1、人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，人工现实例如可以包括增强现实(augmented reality，ar)、混合现实(mixed reality，mr)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与所采集到的内容(例如，真实世界的照片)相结合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，并且以上人工现实内容中任何一种均可以在单个通道或多个通道中呈现(例如，为观看者带来三维效果的立体视频)。人工现实可以与应用、产品、附件、服务、或它们的某种组合相关联，这些应用、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容，和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(head-mounted display，hmd)、独立hmd、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。

技术实现思路

1、本文描述的实施例涵盖自动调整采集人工现实设备的环境的传感器(例如，一个或多个摄像头)上的曝光的系统、方法和介质。通过动态评估环境的图像数据，本文公开的实施例自动将摄像头曝光调整到最佳亮度以用于追踪周围环境内的参考点。所公开的实施例可用于各种应用，例如人工现实设备追踪。

2、在一个实施例中，一种计算系统可以接收包括环境视角的图像数据(例如，视频的图像帧)，并使用本文描述的一种或多种技术来自动调整图像采集传感器或视频采集传感器(例如，一个或多个摄像头)上的曝光。在特定实施例中，一种计算系统还可以使用例如但不限于自动聚焦和自动曝光技术来识别图像帧内的如下区域(例如，空间区域)：所述区域包含足够有用的纹理信息，以便用作自动曝光控制算法的参考点。本文描述的技术通过提供自动传感器曝光控制来改进现有技术，该自动传感器曝光控制考虑了图像纹理信息并改进了对周围环境中可用于设备追踪的显著特征的识别，以向用户提供更沉浸式的体验。

3、在识别用于追踪周围环境的最佳图像亮度方面存在某些技术挑战。一个技术挑战可包括，用于人眼观看场景细节的最佳亮度可能与用于追踪人工现实系统的周围环境的最佳亮度不同。另一个技术挑战可以是防止整体图像被过度曝光使得可追踪的特征变得模糊并因此对设备追踪是无用的。本文公开的实施例提出的解决这一挑战的方案可以是确定图像帧的哪些区域(例如，空间区域)包含可能对追踪目的有用的特征，并基于图像帧的这些区域中的信息来优化曝光决策。

4、本发明的实施例可以包括人工现实系统，或可以结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，人工现实可以包括，例如增强现实(ar)、混合现实(mr)、混合现实(hybrid reality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与所采集到的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，并且以上人工现实内容中任何一种均可以在单个通道或多个通道中呈现(例如，为观看者带来三维效果的立体视频)。另外，在特定实施例中，人工现实可以与应用、产品、附件、服务、或它们的某种组合相关联，这些应用、产品、附件、服务、或它们的某种组合例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(hmd)、独立hmd、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。

5、本文公开的实施例仅为示例，且本文公开的范围不局限于此。特定实施例可以包括本文公开的各实施例中的部件、元件、特征、功能、操作或步骤中的全部、一些，或者可以不包括本文所公开的各实施例中的部件、元件、特征、功能、操作或步骤。根据本发明的各实施例在所附的涉及方法、存储介质、系统和计算机程序产品的权利要求中特别公开，其中，在一个权利要求类别(例如，方法)中所提到的任何特征也可以在另一个权利要求类别(例如，系统)中要求保护。所附权利要求书中的从属关系或引用仅出于形式原因而选择。然而，也可以要求保护因故意引用任何在先权利要求(特别是多项引用)而产生的任何主题，从而公开了权利要求及其特征的任何组合，并且可以要求保护这些组合，而不管所附权利要求中所选择的从属关系如何。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，还包括权利要求中的特征的任何其它组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其它特征或其它特征的组合相结合。此外，本文描述或描绘的任意实施例和特征可以在单独的权利要求中要求保护，以及/或在与本文描述或描绘的任意实施例或所附权利要求的任意特征的任意组合中要求保护。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述摄像头位于用户佩戴的人工现实设备上。

3.根据权利要求1所述的方法，其中，通过所述摄像头采集到的所述图像包括通过所述摄像头采集到的帧序列中的第一帧。

4.根据权利要求1所述的方法，进一步包括：

5.根据权利要求1所述的方法，其中，所述纹理信息是基于无限脉冲响应iir滤波器和有限脉冲响应fir滤波器中的一者或多者来确定的。

6.根据权利要求1所述的方法，其中，选择所述感兴趣区域包括：

7.根据权利要求6所述的方法，其中，选择一组感兴趣区域进一步包括：

8.根据权利要求6所述的方法，其中，所述自动曝光配置是通过自动曝光控制aec算法确定的，所述aec算法使用构成所述感兴趣区域roi的一个或多个区域的纹理信息作为输入。

9.根据权利要求1所述的方法，还包括：

10.一种或多种计算机可读非暂态存储介质，所述一种或多种计算机可读非暂态存储介质包含软件，所述软件在被执行时能够操作以：

11.根据权利要求10所述的计算机可读非暂态存储介质，其中，所述摄像头位于用户佩戴的人工现实设备上。

12.根据权利要求10所述的计算机可读非暂态存储介质，其中，通过所述摄像头采集到的所述图像包括通过所述摄像头采集到的帧序列中的第一帧。

13.根据权利要求10所述的计算机可读非暂态存储介质，其中，所述软件在被执行时能够进一步操作以：

14.根据权利要求10所述的计算机可读非暂态存储介质，其中，选择所述感兴趣区域包括：

15.根据权利要求14所述的计算机可读非暂态存储介质，其中，选择一组感兴趣区域进一步包括：

16.根据权利要求14所述的计算机可读非暂态存储介质，其中，所述自动曝光配置是通过自动曝光控制aec算法确定的，所述aec算法使用构成所述感兴趣区域roi的一个或多个区域的纹理信息作为输入。

17.根据权利要求10所述的计算机可读非暂态存储介质，其中，所述软件在被执行时还能够操作以：

18.根据权利要求10所述的计算机可读非暂态存储介质，其中，所述纹理信息是基于无限脉冲响应iir滤波器和有限脉冲响应fir滤波器中的一者或多者来确定的。

19.一种系统，包括：

20.根据权利要求19所述的系统，其中，所述纹理信息是基于无限脉冲响应iir滤波器和有限脉冲响应fir滤波器中的一者或多者来确定的。

技术总结公开了基于纹理的自动曝光控制算法。在一个实施例中，一种方法包括访问由自动聚焦单元生成并用于确定摄像头的自动聚焦配置的纹理信息，该纹理信息包括在摄像头所感测的环境中检测到的纹理统计数据。该方法还包括基于该纹理信息选择摄像头视场内的感兴趣区域，以及基于该感兴趣区域确定摄像头的自动曝光配置。该方法还包括使用该自动曝光配置和该自动聚焦配置采集环境的图像，以及使用该图像追踪环境中的对象。技术研发人员：赛义德·巴格赫里受保护的技术使用者：元平台技术有限公司技术研发日：技术公布日：2024/9/12