人脸重建方法及装置与流程

本申请涉及图像处理，特别涉及一种人脸重建方法、装置、计算机设备及存储介质。

背景技术：

1、在虚拟现实(vr)和增强现实(ar)等应用中，通过对真实人脸进行3d重建，可以提升用户体验和交互性。例如通过对真实人脸的3d重建，可以在虚拟环境中创建高度逼真的虚拟角色，增加沉浸感。同时3d人脸重建允许在虚拟角色或头像中保留真实的面部特征(如表情、眼神等)，可以使虚拟角色反映真实外貌和表情。

2、相关技术中，通常采用2d人脸重建和传统3d人脸重建来实现。然而，2d人脸重建主要从平面图像入手，只考虑人脸在二维图像中的表现，不涉及对人脸的深度建模，通常无法捕捉到人脸的深度和三维结构；而传统3d人脸重建则基于传统图形学，需要手动设计特征提取器，无法实现端到端的输出。

技术实现思路

1、本申请的目的在于提供一种人脸重建方法、装置、计算机设备及存储介质，用于解决以下技术问题：相关技术中，2d人脸重建无法捕捉人脸的深度和三维结构，传统3d人脸重建需要手动设计特征提取器，无法实现端到端的输出。

2、本申请实施例的一个方面提供了一种人脸重建方法，包括：将目标人脸图像输入至预先训练好的三维模型中，得到目标人脸图像对应的目标三维空间信息，其中，所述三维模型根据深度学习网络训练得到并用于获取输入的人脸图像的三维空间信息，所述三维空间信息包括三维坐标和姿态参数；获取预先构建的平均脸模型和所述平均脸模型对应的第一三维空间信息；根据所述目标三维空间信息和所述第一三维空间信息确定第一偏移量；根据所述第一偏移量和所述平均脸模型生成第一3d人脸模型；根据所述第一3d人脸模型生成重建的第一3d人脸。

3、可选地，所述方法还包括：获取样本数据集，所述样本数据集包括多个人脸图像的样本和每个样本对应的第二三维空间信息；对每个样本的人脸图像进行人脸关键点检测，得到每个样本对应的人脸关键点；将每个样本对应的人脸关键点输入至所述深度学习网络中，获取所述深度学习网络输出的第三三维空间信息；根据所述第二三维空间信息和第三三维空间信息训练所述深度学习网络，以得到所述三维模型。

4、可选地，所述深度学习网络包括多层感知器，所述多层感知器的输出为所述三维坐标和所述姿态参数，所述三维坐标包括所述人脸关键点的三维坐标，所述姿态参数包括人脸的俯仰角、偏航角和翻滚角。

5、可选地，所述根据所述第一3d人脸模型生成重建的第一3d人脸，包括：获取所述目标人脸图像的第一纹理信息和第一细节信息；将所述第一纹理信息和第一细节信息添加到所述第一3d人脸模型中，得到重建的第一3d人脸。

6、可选地，在所述根据所述第一3d人脸模型生成重建的第一3d人脸之后，还包括：将所述重建的第一3d人脸进行uv展开，得到人脸展开图像；获取风格化的图像；提取所述风格化的图像的风格特征，将所述风格特征迁移到所述人脸展开图像中，得到风格化的人脸展开图像；将所述风格化的人脸展开图像进行uv映射，得到风格化的第一3d人脸。

7、可选地，所述提取所述风格化的图像的风格特征，将所述风格特征迁移到所述人脸展开图像中，得到风格化后的人脸展开图像，包括：采用预训练的提取模型提取所述风格化的图像的风格化参数；根据所述风格化参数采用图片风格迁移算法在所述人脸展开图像中渲染出风格化的纹理，得到风格化后的人脸展开图像。

8、可选地，所述方法还包括：获取风格化的图像；提取所述风格化的图像的风格特征，将所述风格特征迁移到所述目标人脸图像中，得到风格化的人脸图像；

9、将所述风格化的人脸图像输入至所述三维模型中，得到所述风格化的人脸图像对应的第四三维空间信息；根据所述第四三维空间信息和所述第一三维空间信息确定第二偏移量；根据所述第二偏移量和所述平均脸模型生成第二3d人脸模型；获取所述风格化的人脸图像的第二纹理信息和第二细节信息，将所述第二纹理信息和第二细节信息添加到所述第二3d人脸模型，得到重建的第二3d人脸。

10、本申请实施例的一个方面又提供了一种人脸重建装置，包括：输入模块，用于将目标人脸图像输入至预先训练好的三维模型中，得到目标人脸图像对应的目标三维空间信息，其中，所述三维模型根据深度学习网络训练得到并用于获取输入的人脸图像的三维空间信息，所述三维空间信息包括三维坐标和姿态参数；获取模块，用于获取预先构建的平均脸模型和所述平均脸模型对应的第一三维空间信息；确定模块，用于根据所述目标三维空间信息和所述第一三维空间信息确定第一偏移量；第一生成模块，用于根据所述第一偏移量和所述平均脸模型生成第一3d人脸模型；第二生成模块，用于根据所述第一3d人脸模型生成重建的第一3d人脸。

11、本申请实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现上述的人脸重建方法的步骤。

12、本申请实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行上述的人脸重建方法的步骤。

13、本申请实施例提供的人脸重建方法、装置、计算机设备及存储介质，包括以下优点：

14、通过将目标人脸图像输入至预先训练好的三维模型中，得到目标人脸图像对应的目标三维空间信息，获取预先构建的平均脸模型和平均脸模型对应的第一三维空间信息，根据目标三维空间信息和第一三维空间信息确定第一偏移量，根据第一偏移量和平均脸模型生成第一3d人脸模型，根据第一3d人脸模型生成重建的第一3d人脸，可以根据2d人脸图像得到人脸的深度和三维结构等三维空间信息，且无需手动设计特征提取器，能够实现2d人脸图像到人脸三维空间信息的端到端的输出，使得模型可以很好地适应复杂的数据分布和任务。

技术特征：

1.一种人脸重建方法，其特征在于，包括：

2.根据权利要求1所述的人脸重建方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的人脸重建方法，其特征在于，所述深度学习网络包括多层感知器，所述多层感知器的输出为所述三维坐标和所述姿态参数，所述三维坐标包括所述人脸关键点的三维坐标，所述姿态参数包括人脸的俯仰角、偏航角和翻滚角。

4.根据权利要求1-3任一项所述的人脸重建方法，其特征在于，所述根据所述第一3d人脸模型生成重建的第一3d人脸，包括：

5.根据权利要求4所述的人脸重建方法，其特征在于，在所述根据所述第一3d人脸模型生成重建的第一3d人脸之后，还包括：

6.根据权利要求5所述的人脸重建方法，其特征在于，所述提取所述风格化的图像的风格特征，将所述风格特征迁移到所述人脸展开图像中，得到风格化后的人脸展开图像，包括：

7.根据权利要求1所述的人脸重建方法，其特征在于，所述方法还包括：

8.一种人脸重建装置，其特征在于，包括：

9.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1至7中任一项所述的人脸重建方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1至7中任一项所述的人脸重建方法的步骤。

技术总结本申请实施例提供一种人脸重建方法，所述方法包括：将目标人脸图像输入至预先训练好的三维模型中，得到目标人脸图像对应的目标三维空间信息，其中，所述三维模型根据深度学习网络训练得到并用于获取输入的人脸图像的三维空间信息，所述三维空间信息包括三维坐标和姿态参数；获取预先构建的平均脸模型和所述平均脸模型对应的第一三维空间信息；根据所述目标三维空间信息和所述第一三维空间信息确定第一偏移量；根据所述第一偏移量和所述平均脸模型生成第一3D人脸模型；根据所述第一3D人脸模型生成重建的第一3D人脸。本申请实施例提供的人脸重建方法，可以根据2D图像得到人脸的三空间信息，无需手动设计特征提取器，能够实现端到端的输出。技术研发人员：李亘杰受保护的技术使用者：上海哔哩哔哩科技有限公司技术研发日：技术公布日：2024/11/4