外部显示器的对访客用户的面部的渲染的制作方法

本公开整体涉及电子设备，并且具体地涉及用于表示电子设备的用户的系统、方法和设备。

背景技术：

1、在用户使用电子设备时，该设备可能处于阻止在该用户周围的其他人看到该用户的一部分的位置。例如，当用户将设备举起在其面部前方或穿戴设备(例如，诸如头戴式设备(hmd))时，在相同房间/环境中的其他人可能无法看到用户的面部的眼睛或其他部分。

技术实现思路

1、本文公开的各个具体实施包括在设备的面向外显示器上呈现设备用户的面部部分(其原本将被定位在用户的面部前面的hmd、可穿戴电子设备或其他电子设备遮挡)的视图的设备、系统和方法。显示该用户的面部部分可被配置为使观察者能够看到该用户的当前眼睛和面部表情，如同该观察者正在透过透明设备看到该用户的实际眼睛和面部表情一样。使用各种技术来提供该用户的面部的视图，该视图是写实的，示出该用户的当前面部外观和/或以3d空间准确度呈现该面部部分，例如对于在用户周围的不同观察视点，每只眼睛看起来处于其实际3d位置。

2、一些具体实施使得能够为先前未执行原本可能提供对显示用户的面部部分有用的面部信息的化身或其他面部聚焦登记过程的用户显示用户的面部部分。尚未执行化身或其他面部聚焦登记过程的用户在本文中被称为“访客”用户。访客用户可以是也可以不是设备的所有者，并且可能已经完成也可能没有完成其他登记过程(例如，手部登记等)但尚未执行化身或其他面部聚焦登记过程。本文公开的技术可用于访客用户和非访客用户两者，但是对其中面部聚焦的登记数据不可用于辅助在面向外显示器上提供用户的面部部分的视图的访客用户来说可能是特别有用的。

3、本文公开的一些具体实施将第一数据集(例如，基于实时眼睛相机数据的实时数据)与第二数据集(例如，访客数据，诸如从设备设置信息获得的瞳孔距离(ipd)和来自手部登记或其他外部传感器源的肤色(例如，实时或先前捕获的手部数据))组合。肤色是指用户的皮肤的表面的颜色或纹理。可组合这样的第一数据和第二数据以产生具有纹理/颜色数据的图像/面板，该图像/面板可应用于用户的面部部分的3d网格。纹理化3d网格可用于在设备的外部显示器上显示面部部分的视图。访客数据可用作来自化身或其他面部聚焦登记的数据的替代，例如，当此类面部聚焦登记数据不可用时。可基于将2d输出(例如，图像/面板)映射到3d网格并然后基于观察者视点来提供该网格的视图来提供视图，使得眼睛对观察者来说看起来在其实际3d位置。

4、通常，本说明书中描述的主题的一个创新方面可体现于在具有处理器的电子设备处执行的方法中。这种方法可涉及获得对应于面部部分的当前外观的第一数据，例如在用户穿戴hmd时捕获的描绘每只眼睛和其他面部区域的实时眼睛相机或其他传感器数据。第一数据可基于经由一个或多个传感器(诸如hmd上捕获对应于用户的面部或其他身体部分的ir或彩色图像、深度数据、运动数据等的一个或多个面向内和/或面向外传感器)实时捕获的第一传感器数据。

5、该方法还获得对应于用户的附加属性的第二数据，诸如用户的肤色和瞳孔距离(ipd)。肤色可提供第一数据中也未捕获的关于用户的信息，例如，从用户的手部的rgb彩色图像确定的肤色可使得能够比来自捕获用户的眼睛区域的ir图像的内部相机的红外(ir)数据更准确地预测用户的面部部分的肤色。在一个示例中，从手部登记图像确定用户肤色，并且此类肤色信息也未被ir眼睛相机(ecam)捕获。ipd值可由设备跟踪以用于其他目的(例如，用于向用户显示内容)，并且还可用作第二数据以促成用户的面部部分在外部显示器上的更准确表示。

6、该方法基于第一数据和第二数据来生成面部部分的表示。例如，在一些具体实施中，这可涉及输入包括实时眼睛相机数据的第一数据和包括肤色值和ipd值的第二数据的渲染神经网络(或者其他机器学习模型)。机器学习模型可输出表示具有外观属性的面部部分的当前外观的图像。机器学习模型还可输出表示用户的面部部分的3d形状的3d网格。机器学习模型可输出多个构造(例如，纹理图像/面板和3d网格两者)或单个构造(例如，纹理和3d形状两者的3d表示，诸如rgb-d表示或具有相关联的纹理值的3d网格)。

7、该方法在可穿戴电子设备的面向外显示器上呈现面部部分的表示。呈现可涉及将纹理从2d面部表示映射到3d面部模型(例如，3d网格)上。呈现可涉及在设备的正面上显示纹理化3d网格的视图。通过基于观察视点/方向来显示内容，在面向外显示器上显示的视图可显示眼睛看起来在其准确3d位置处。可显示针对多个观察视点/方向的视图，例如使用透镜式显示器来呈现各自仅从特定且对应的观察视点/方向可见的多个视图。

8、面向外显示器可以是平坦平面显示器、平坦弯曲显示器或具有任何其他形状，并且呈现的视图可考虑该显示器形状。

9、视图可描绘原本将被设备遮挡的眼睛和周围区域的当前外观。如果设备移动(例如，在用户的面部上上下移动)，则在视图相应地进行调整时，眼睛看起来停留在对应于它们的实际位置的相同位置。

10、表示还可被调整以限制巩膜与皮肤之间的对比度以避免伪影，例如确保白色眼睛部分不比浅色皮肤区域看起来显著更白以避免比真实眼睛更亮的外观或其他令人反感的外观。

11、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，该指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。

技术特征：

1.一种方法，所述方法包括：

2.根据权利要求1所述的方法，所述方法还包括：

3.根据权利要求1所述的方法，其中所述肤色基于所述用户的手部的一个或多个图像。

4.根据权利要求3所述的方法，其中在手部登记期间捕获所述手部的所述一个或多个图像。

5.根据权利要求1所述的方法，其中所述第二数据对应于所述面部部分的未在所述第一传感器数据中描绘的一部分。

6.根据权利要求1所述的方法，其中生成所述面部部分的所述表示包括将所述第一数据和所述第二数据输入经训练以输出表示所述面部部分的形状的3d网格和表示所述面部部分的纹理的图像的神经网络。

7.根据权利要求6所述的方法，还包括将实时眼睛相机数据和中性眼睛相机数据输入所述神经网络。

8.根据权利要求7所述的方法，其中生成所述面部部分的所述表示包括基于所述实时眼睛相机数据和所述中性眼睛相机数据来确定改变。

9.根据权利要求6所述的方法，其中在所述可穿戴电子设备的所述面向外显示器上呈现所述面部部分的所述表示包括：

10.根据权利要求8所述的方法，其中所述视图描绘所述视图以使得在所述视点处的观看者观察所述面部部分的在3d位置的眼睛和周围部分，所述3d位置对应于所述眼睛和所述周围部分的实际3d位置。

11.根据权利要求9所述的方法，其中基于确定观察者相对于所述可穿戴电子设备的相对位置来确定所述视点。

12.根据权利要求1所述的方法，还包括基于观察者的改变位置来随时间推移提供所述面部部分的不同视图，其中所述可穿戴电子设备经由透镜式显示器提供所述视图。

13.根据权利要求1所述的方法，其中所述可穿戴电子设备包括头戴式设备(hmd)，当在穿戴所述电子设备时，所述头戴式设备阻挡对所述面部部分的直接观看。

14.一种可穿戴电子设备，包括：

15.根据权利要求14所述的可穿戴电子设备，其中所述操作还包括：

16.根据权利要求14所述的可穿戴电子设备，其中所述肤色基于所述用户的手部的一个或多个图像。

17.根据权利要求16所述的可穿戴电子设备，其中在手部登记期间捕获所述手部的所述一个或多个图像。

18.根据权利要求14所述的可穿戴电子设备，其中所述第二数据对应于所述面部部分的未在所述第一传感器数据中描绘的一部分。

19.根据权利要求14所述的可穿戴电子设备，其中生成所述面部部分的所述表示包括将所述第一数据和所述第二数据输入经训练以输出表示所述面部部分的形状的3d网格和表示所述面部部分的纹理的图像的神经网络。

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在包括一个或多个处理器的设备上执行以执行操作的程序指令，所述操作包括：

技术总结提供了一种外部显示器的对访客用户的面部的渲染。本文公开的各个具体实施包括在设备用户的设备的面向外显示器上呈现该用户的原本将被定位在面部前面的电子设备遮挡的面部部分的视图的设备、系统和方法。该用户的面部部分的该视图可被配置为使观察者能够看到该用户的眼睛和面部表情，如同该观察者正在透过透明设备看到该用户的实际眼睛和面部表情一样。使用各种技术来提供该用户的面部的视图，该视图是写实的，示出该用户的当前面部外观和/或以3D空间准确度呈现该面部部分，例如每只眼睛看起来处于其实际3D位置。技术研发人员：G·M·卡德特,O·苏亚雷斯,G·L·法伊夫,宋洋,关少波受保护的技术使用者：苹果公司技术研发日：技术公布日：2024/10/10