一种多模态的端到端草图三维人脸重建方法

本发明涉及计算机视觉和深度学习，尤其涉及一种多模态的端到端草图三维人脸重建方法。

背景技术：

1、人脸作为个人重要的生物特征，在研究领域得到了广泛的关注。随着科学技术的发展，传统的二维人脸研究如面部识别，面部检测等技术已经日趋完善。三维人脸模型与二维人脸相比包含着更加丰富的肌肉神经结构等生物信息。高质量的生成三维人脸模型在计算机视觉领域是一项非常重要的任务，在虚拟现实(vr)/增强现实(ar)、面部动画、电影制作等场景中都有着广泛的应用，具备着很高的实用价值。

2、随着深度学习的发展，三维人脸重建技术得到了巨大的进步，但是这些方法往往只局限于图像这一单一的数据类型。对于用户而言，仍然需要门槛更低且更加流畅自然的艺术创意表达方式，而自然的草图绘制创作是更加理想的创作方式。基于图像的三维人脸重建技术由于草图和图像的数据特征不同，难以直接进行应用。

3、目前的三维人脸重建技术主要有以下两种方法：

4、1、基于三维形变模型，即基于固定数量的三维人脸数据库，用数据库中人脸的线性组合来表示任何一个可能的三维人脸。传统的重建方法利用优化的方式去拟合模型参数，精确度不高且算法复杂。随着深度学习的发展，更多的方法使用神经网络特别是卷积神经网络来预测三维人脸模板的可能参数。卷积神经网络可以理解多层次的图像特征，直接得到三维形变模型的参数。但是仍然存在缺点：无论是基于优化的方法还是基于深度学习的方法都受限于三维形变模型的表征能力，鲁棒性较差且算法解空间较小。

5、2、基于深度学习的端到端方法，由于三维形变模型的表达能力有限，有一部分工作绕过三维形变模型，使用神经网络直接预测三维人脸模型。这类方法的核心在于如何表示三维人脸模型，并进行神经网络训练。一种方法是使用三维像素即体素的方法来表示三维人脸，李琛等人在中国专利发明《一种人体三维模型重建方法、装置和存储介质》（申请号为：cn201810990982.1）中使用自回归神经网络与体素相结合，使用级联网络进行预测。这种方法预测的三维人脸模型精度较差，人脸模型表面粗糙；冯瑶等人在中国专利发明《一种基于单张图像的端到端三维人脸重建方法》 （申请号为：cn201810707690.2）中使用卷积神经网络直接预测三维人脸模型的面部坐标，通过将三维坐标值与图像颜色值一一对应，巧妙的降低了模型的训练时间。但是受限于图像大小，重建精度不高；刘达等人在中国专利发明《基于素描草图的人脸三维重建模型训练方法、重建方法及装置》（申请号为：cn202211042405.2）中使用生成对抗生成网络实现对草图的三维重建，但是仅限于细致描绘的人脸草图，难以适用于更加稀疏的人脸草图，此外该方法生成的人脸模型精度较差，难以具有丰富的表情。

6、因此，本领域的技术人员致力于开发一种多模态的端到端草图三维人脸重建方法。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是在草图缺少精细三维人脸信息的情况下，如何能够预测草图中缺失的几何信息，高质量地重建三维人脸。

2、为了解决传统三维人脸重建方法应用场景局限的问题，同时确保重建得到的三维人脸模型具有高保真度和细粒度特征，发明人使用多模态方法对草图进行三维人脸重建，具体而言是草图与图像两种模态。首先使用卷积神经网络对草图进行人脸特征补全，随后使用孪生网络分别从草图和潜在人脸信息图中提取几何特征，最后为了避免三维形变模型的限制，使用图神经网络来作为解码器，利用提取的多层次人脸几何特征实现端到端的三维人脸重建，最后为了提高网络的鲁棒性和训练效果，使用包括潜在特征一致性损失函数在内的多种损失函数来达到对输入的草图的高精度三维人脸模型重建。

3、本发明的一个实施例中，提供了一种多模态的端到端草图三维人脸重建方法，包括：

4、s100、准备数据集，准备训练所需的数据集，包括生成潜在信息图像的草图-二维人脸的数据集和重建三维人脸的草图-三维人脸的数据集；

5、s200、训练二维人脸图像模型，二维人脸图像模型基于对抗生成网络，使用上述草图-二维人脸的数据集训练二维人脸图像模型，保存训练完成的二维人脸图像模型；

6、s300、设计人脸几何特征模型和对应的损失函数，人脸几何特征模型基于卷积神经网络；

7、s400、设计三维人脸模型和对应的损失函数，三维人脸模型基于图神经网络；

8、s500、联合训练，循环训练人脸几何特征模型和三维人脸模型，直到达到训练停止条件，保存训练完成的人脸几何特征模型和训练完成的三维人脸模型；

9、s600、预测三维人脸模型，输入任意草图至训练完成的二维人脸图像模型，依次经过训练完成的人脸几何特征模型和训练完成的三维人脸模型进行预测，得到最终的三维人脸模型。

10、可选地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，步骤s100包括：

11、s110、获取草图-二维人脸的数据集，用于训练二维人脸图像模型，生成潜在信息图像；

12、s120、获取草图-三维人脸的数据集，用于训练人脸几何特征模型，重建三维人脸；

13、s130、配对草图和数据集，将草图和对应的草图-二维人脸的数据集中的二维人脸一一配对，将草图和对应的草图-三维人脸的数据集中的三维人脸一一配对。

14、可选地，在上述任一实施例中的多模态的端到端草图三维人脸重建方法中，步骤s200包括：

15、s210、设计基于对抗生成网络的二维人脸图像模型，使用对抗生成网络作为基本结构，并使用带有残差连接的残差层加入卷积神经网络作为前缀网络，与对抗生成网络相连，前缀网络对于输入的草图从不同维度提取人脸结构相关的特征，将提取的特征输入对抗生成网络，输出潜在信息图像；

16、s220、设计损失函数，用于预测草图潜在信息图像的损失函数，损失函数为：

17、（1）

18、其中，代表输入的草图，代表对抗生成网络输出的潜在信息图像，代表输入的草图的学习感知图像块相似度，代表输出的学习感知图像块相似度，代表前缀网络提取的人脸结构相关的特征；

19、s230、训练二维人脸图像模型，使用上述草图-二维人脸的数据集训练二维人脸图像模型。

20、可选地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，步骤s230包括：

21、s231、输出潜在信息图像，把草图输入二维人脸图像模型，二维人脸图像模型输出潜在信息图像；

22、s232、选择损失函数和数据集，使用损失函数作为训练二维人脸图像模型的损失函数，使用草图-二维人脸的数据集作为训练的数据集；

23、s233、选择ranger优化器，学习率为1 e-4；

24、s234、训练二维人脸图像模型，循环进行二维人脸图像模型，直到达到训练停止条件；

25、s235、保存模型，保存训练完成的人脸几何特征模型。

26、进一步地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，上述训练停止条件为训练1000轮左右。

27、进一步地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，上述训练停止条件为损失函数的值不再下降。

28、可选地，在上述任一实施例中的多模态的端到端草图三维人脸重建方法中，步骤s300包括：

29、s310、设计人脸几何特征模型，选取卷积网络，对于输入的草图和生成的潜在信息图像分别选取卷积网络，以孪生网络作为基本结构，并在卷积神经网络中加入残差连接，分别提取草图和潜在信息图像中的人脸信息；

30、s320、设计损失函数，设计控制提取信息的大小维度的正则损失函数和限制卷积神经网络提取的信息的第一部分潜在特征一致性损失函数的，如下所示：

31、（2）

32、（3）

33、其中，代表卷积神经网络提取的潜在信息图像中的人脸特征，代表卷积神经网络提取的输入的草图中的人脸特征，代表对于一张输入草图生成潜在信息图像的数量，代表第张潜在信息图像中的人脸特征，代表张潜在信息图像中的平均人脸特征，代表第一部分潜在特征一致性损失函数的权重值。

34、进一步地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，步骤s400包括：

35、s410、设计三维人脸模型，准备参考模型，使用一个参考用三维人脸作为参考模型，选取图神经网络作为基本结构，对于潜在信息图像中的人脸特征和输入的草图中的人脸特征，分别对参考模型中的每一个三维坐标点进行预测；

36、s420、设计第二部分潜在特征一致性损失函数，设计第二部分潜在特征一致性损失函数，限制卷积神经网络所提取的信息，加速网络的收敛，公式如下：

37、（4）

38、其中，代表对于一张输入草图生成第一次审查潜在信息图像的数量，代表根据第张潜在信息图像生成的三维人脸模型，代表张潜在信息图像中生成的平均三维人脸模型，代表第二部分潜在特征一致性损失函数的权重值；

39、s430、设计倒角距离损失函数，设计倒角距离损失函数，公式如下：

40、（5）

41、其中，代表真实的三维人脸模型点云，代表网络预测的三维人脸模型点云，分别代表不同三维人脸模型中的坐标点；

42、s440、设计重建质量损失函数，设计重建质量损失函数，公式如下：

43、（6）

44、其中，代表网络预测的三维人脸模型，代表真实的三维人脸模型。

45、可选地，在上述任一实施例中的多模态的端到端草图三维人脸重建方法中，步骤s500包括：

46、s510、联合训练人脸几何特征模型和三维人脸模型，使用人脸几何特征模型输出的人脸几何特征与草图-三维人脸的数据集和草图-二维人脸数据集进行训练；

47、s520、循环训练，循环进行人脸几何特征模型和三维人脸模型联合训练，直到达到训练停止条件；

48、s530、保存模型，分别保存训练完成的人脸几何特征模型和三维人脸模型。

49、进一步地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，步骤s510包括：

50、s511、联合训练，将人脸几何特征模型与三维人脸模型进行联合训练，草图作为人脸几何特征模型的输入，人脸几何特征模型的输出作为三维人脸模型的输入，三维人脸模型输出三维人脸模型；

51、s512、选择损失函数和数据集，使用损失函数 、 、和作为人脸几何特征模型与三维人脸模型的组合损失函数，使用草图-三维人脸模型数据集和草图-二维人脸数据集作为训练的数据集；

52、s513、选择训练参数，选择adamw优化器，学习率为1 e-4。

53、可选地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，训练停止条件为训练700轮左右。

54、可选地，在上述实施例中的多模态的端到端草图三维人脸重建方法中，训练停止条件为损失函数 、 、和的值不再下降。

55、本发明使用基于孪生网络框架的卷积神经网络对输入的草图进行潜在信息预测，生成潜在信息图像；在保持原有人脸特征的同时生成人脸几何特征，实现了对输入的草图的人脸信息补全，生成忠实于输入又超过输入质量的三维人脸图像；对输入草图和潜在信息图像两个模态分别提取图像特征，实现了多层次几何信息提取，大幅降低了三维人脸模型中图神经网络的的学习难度，提高了重建人脸的质量；使用图神经网络对三维人脸模型直接预测，不经过三维形变模型，实现了端到端的三维人脸重建，重建精度不受限制，并且网络鲁棒性强，训练收敛快；与多种损失函数相结合，在草图人脸特征缺失、背景环境复杂和其他极端的情况下，实现了高质量高细粒度的三维人脸重建。

56、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。