针对神经3D肖像的可控动态外观的制作方法

本公开一般涉及产生动态三维(3d)移动肖像。更特别地而不是以限制的方式，本公开涉及用于控制数字绘制肖像中的头部移动和表情同时提供逼真照明效果的编程技术。

背景技术：

1、照片逼真的人物肖像由以数字方式生成的视频组成，该视频通过对头部姿势、面部表情和/或眼睛注视的明确控制来绘制。可控3d肖像被用于增强现实(ar)和虚拟现实(vr)应用中，在这些应用中身临其境的3d体验是所期望的。在一些示例中，可以通过首先以数字方式记录个体以创建和存储用于训练的视频来产生可控3d肖像。视频是在受控照明条件下拍摄的，以使得在对象的头部的所有可见表面上提供均匀的照明和一致的颜色。然后可以通过对视频帧流上的移动的明确控制来对头部进行体积绘制。

技术实现思路

1、本公开的某些方面和特征涉及为神经3d肖像提供可控动态外观。例如，一种方法涉及基于规范空间中的每个相应点的位置、表面法线和观察方向，在数字视频肖像中的点处投影颜色。该方法还涉及使用颜色来投影根据数字视频肖像中的关节式头部姿势和面部表情而变化的针对各点的动态面部法线。该方法还涉及基于动态面部法线，将数字视频肖像中的面部外观分解成规范空间中的内在分量。该方法还涉及使用内在分量基于数字视频肖像来将头部姿势的至少一部分存储和/或绘制为可控神经三维肖像。

2、其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行方法的动作。

3、本技术实现要素：并不旨在识别所要求保护的主题的关键或基本特征，也不旨在单独使用来确定所要求保护的主题的范围。应通过参考本公开的整个说明书的适当部分、任何或所有附图以及每项权利要求来理解主题。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，还包括：相对于针对所述数字视频肖像的光度一致的反照率来定义所述规范空间。

4.根据权利要求1所述的方法，还包括：

5.根据权利要求1所述的方法，还包括：使用引导变形场来使所述多个点中的每个点变形，以提供所述动态面部法线。

6.根据权利要求5所述的方法，还包括：

7.根据权利要求1所述的方法，还包括：

8.一种系统，包括：

9.根据权利要求8所述的系统，其中所述操作还包括：

10.根据权利要求8所述的系统，其中所述操作还包括：相对于针对所述数字视频肖像的光度一致的反照率来定义所述规范空间。

11.根据权利要求8所述的系统，其中所述操作还包括：

12.根据权利要求8所述的系统，其中所述操作还包括：使用引导变形场来使所述多个点中的每个点变形以提供所述动态面部法线。

13.根据权利要求12所述的系统，其中所述操作还包括：

14.根据权利要求8所述的系统，其中所述操作还包括：

15.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储可执行指令，所述可执行指令在由处理设备执行时使所述处理设备执行包括以下的操作：

16.根据权利要求15所述的非暂态计算机可读介质，其中所述可执行指令还使所述处理设备执行包括以下的操作：

17.根据权利要求15所述的非暂态计算机可读介质，其中所述可执行指令还使所述处理设备执行包括以下的操作：相对于针对所述数字视频肖像的光度一致的反照率来定义所述规范空间。

18.根据权利要求15所述的非暂态计算机可读介质，其中所述可执行指令还使所述处理设备执行包括以下的操作：

19.根据权利要求15所述的非暂态计算机可读介质，其中所述可执行指令还使所述处理设备执行包括以下的操作：

20.根据权利要求15所述的非暂态计算机可读介质，其中所述可执行指令还使所述处理设备执行包括以下的操作：

技术总结本公开的某些方面和特征涉及为神经3D肖像提供可控动态外观。例如，一种方法涉及基于规范空间中的每个相应点的位置、表面法线和观察方向，在数字视频肖像中的点处投影颜色。该方法还涉及使用颜色来投影根据数字视频肖像中的关节式头部姿势和面部表情而变化的针对点的动态面部法线。该方法还涉及基于动态面部法线，将数字视频肖像中的面部外观分解成规范空间中的内在分量。该方法还涉及使用内在分量基于数字视频肖像将头部姿势的至少一部分存储和/或绘制为可控神经3D肖像。技术研发人员：舒之昕,徐泽祥,S·阿萨,毕赛,K·萨恩卡瓦利,栾福军受保护的技术使用者：奥多比公司技术研发日：技术公布日：2024/10/17