数字人合成方法、计算机程序产品、设备及介质与流程

本技术涉及人工智能领域，特别涉及一种数字人合成方法、计算机程序产品、设备及介质。

背景技术：

1、数字人为由利用算机手段创造并使用的，具有多重人类特征综合产物,如外貌特征、人类表演能力以及交互能力等；而随着数字人发展的日新月异，其应用范围也在不断扩大，逐渐形成特定的产业，且商业模式也正在经历持续的演变和多样化。

2、而为了提高数字人的真实感和表现力，需要对数字人的面部特征进行优化，而现有的相关技术生成的数字人面部细节表现一般，模拟表情生硬。

3、因此亟需一种提升数字人的合成质量和表现效果的方法以解决上述技术问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种数字人合成方法、计算机程序产品、设备及介质。

2、第一方面，本技术提供一种数字人合成方法，包括：获取与目标视频数据对应的人脸三维点云数据；根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的三维标准点，其中，所述三维标准点以网格和向量的形式表示；根据所述三维标准点构建三维高斯集，并利用三维高斯集渲染目标视角下的目标人脸图像以合成获取目标视角下的数字人。

3、在一些实施例中，根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的至少一个三维标准点之前，所述方法包括：根据预设的三维重建算法将所述人脸三维点云数据转换为连续的网格向量化模型；将所述三维形变点映射到所述网格向量化模型的形变空间上的三角形网格。

4、在一些实施例中，根据预设的三维重建算法将所述人脸三维点云数据转换为连续的网格向量化模型，包括：根据冯氏表面法将所述人脸三维点云数据转换为连续的网格向量化模型；其中，所述网格向量化模型中的人脸面部由多个三角形网格构成，任意一个三角形网格可通过三角形顶点的顶点坐标和所述三角形顶点的顶点法向量表示。

5、在一些实施例中，根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的至少一个三维标准点，包括：根据所述三维形变点在形变空间下所在的三角形网格对应的第一旋转矩阵和所述三维标准点在标准空间下所在的三角形网格对应的第二旋转矩阵建立所述面部形变模型；调用所述面部形变模型，将所述形变空间下的三维形变点映射至标准空间下的三维标准点；其中，所述第一旋转矩阵为所述三维形变点在形变空间下所在的三角形网格的正切、双切和法线构成的旋转矩阵；其中，所述第二旋转矩阵为所述三维标准点在标准空间下所在的三角形网格的正切、双切和法线构成的旋转矩阵。

6、在一些实施例中，根据所述三维形变点在形变空间下所在的三角形网格对应的第一旋转矩阵和所述三维标准点在标准空间下所在的三角形网格对应的第二旋转矩阵建立所述面部形变模型，包括：利用所述第一旋转矩阵和第二旋转矩阵建立所述面部形变模型，所述面部形变模型为：

7、；

8、；

9、其中，表示三维形变点，d表示形变空间，表示三维标准点，c表示标准空间，表示映射，表示所述第一旋转矩阵，表示第二旋转矩阵。

10、在一些实施例中，将所述三维形变点映射到所述网格向量化模型的形变空间上的三角形网格，包括：获取位于三角形网格上的三维形变点的重心坐标以及所述三维形变点所在的三角形网格的三角形顶点的顶点坐标和三角形顶点的顶点法向量；根据第一预设公式以及所述三维形变点所在的三角形网格的三角形顶点的顶点坐标，将所述三维形变点的重心坐标映射到形变空间上的三角形网格上的坐标点；根据第二预设公式以及所述三角形定顶点的顶点法向量，计算所述三维形变点在形变空间上的法向量。

11、在一些实施例中，所述第一预设公式为：；其中，表示三维形变点，表示所述三维形变点所在的三角形网格的索引号，表示所述三维形变点的重心坐标，分别表示三角形网格的三个顶点的顶点坐标，表示将三角形网格索引值和重心坐标映射为三角形网格上的坐标点。

12、在一些实施例中，所述第二预设公式为：；其中，表示三维形变点的法向量，分别表示三角形网格的三个顶点的顶点法向量，用于差值计算三维形变点的法向量。

13、在一些实施例中，根据所述三维标准点构建三维高斯集，包括：将所述三维标准点作为三维高斯点；计算所述三维高斯点的均值和协方差矩阵；利用所述均值和协方差矩阵表示三维高斯集内的三维高斯以构建三维高斯集。

14、在一些实施例中，三维高斯点对应的均值的计算方法包括：根据所述三维高斯点对应的三维标准点的位置和法向量及第三预设公式，计算所述三维高斯点的均值，所述第三预设公式为：

15、；

16、其中，表示三维高斯点的均值，表示三维形变点的法向量，表示三维标准点，c表示标准空间，表示映射，d表示偏移量。

17、在一些实施例中，三维高斯点对应的协方差矩阵的计算方法包括：根据所述三维高斯点对应的旋转量和尺度变化量以及第四预设公式计算在t时刻第i个所述三维高斯点对应的协方差矩阵，所述第四预设公式为：

18、；

19、其中，是基于三维高斯点对应的尺度变化量构建的尺度矩阵，是基于三维高斯点对应的旋转量构建的旋转矩阵，所述尺度变化量为根据t时刻下第i个所述三维高斯点在形变空间下所在的三角形网格的面积和所述三维高斯点在标准空间下的三角形网格的面积的变化得到的，所述旋转量为根据t时刻下第i个所述三维高斯点在形变空间下所在的三角形网格的旋转量和重心插值旋转量计算得到的。

20、在一些实施例中，三维高斯点对应的旋转量为根据t时刻下第i个所述三维高斯点在形变空间下所在的三角形网格的旋转量和重心插值旋转量计算得到，包括：根据t时刻下第i个所述三维高斯点在形变空间下所在的三角形网格的旋转量和重心插值旋转量以及第五预设公式，计算所述三维高斯点对应的旋转量，所述第五预设公式为：

21、；

22、；

23、表示所述三维高斯点在形变空间下所在的三角形网格三个顶点对应的四元数，表示t时刻的重心插值旋转量，表示所述三维高斯点在标准空间下的旋转量；其中，四元数的计算公式为：；

24、表示三角形网格任意一个顶点的四元数，表示三角形网格上所述顶点的邻域三角集合，表示邻域三角面积，表示领域三角形的四元数。

25、在一些实施例中，所述尺度变化量为根据t时刻下第i个所述三维高斯点在形变空间下所在的三角形网格的面积和所述三维高斯点在标准空间下的三角形网格的面积的变化得到，包括：根据t时刻下第i个所述三维高斯点在形变空间下所在的三角形网格的面积和所述三维高斯点在标准空间下的三角形网格的面积以及第六预设公式计算所述尺度变化量，所述第六预设公式为：

26、；

27、其中，表示标准空间下的三角形网格的面积，表示形变空间下的三角形网格的面积，表示标准空间上的尺度变化值。

28、在一些实施例中，利用三维高斯集渲染目标视角下的目标人脸图像，包括：通过可微分的形式将所述三维高斯集内的至少一个三维高斯投影映射到二维图像平面的方式，确定与所述三维高斯匹配的二维空间影响值；根据至少一个所述三维高斯对应的二维空间影响值计算二维平面内像素点的颜色值；根据所述二维平面内像素点的颜色值渲染得到目标视角下的目标人脸图像。

29、在一些实施例中，所述三维高斯集对应的高斯参数为已优化后的，其中所述高斯参数的优化过程包括：获取与历史视频数据对应的人脸三维点云样本数据，其中，所述人脸三维点云样本数据包括人脸三维点云训练数据和人脸三维点云验证数据；根据预设的面部形变模型将所述人脸三维点云样本数据中的至少一个三维形变样本点映射到标准空间下的至少一个三维标准样本点；基于所述三维标准样本点构建待训练三维高斯集，并利用所述待训练三维高斯集渲染得到目标视角下的待优化人脸图像；计算所述待优化人脸图像和所述人脸三维点云验证数据的重构损失函数；以所述重构损失函数为目标，基于误差最小化进行参数优化训练；通过自适应密度控制算法交替优化所述待训练三维高斯集中的各三维高斯的参数，直至满足预设条件。

30、在一些实施例中，对所述高斯参数进行优化之前，所述方法还包括：对所述三维高斯集内的至少一个三维高斯对应的高斯参数进行初始化，包括：获取稀疏点云数据，并利用所述稀疏点云数据对所述三维高斯集内的至少一个三维高斯对应的高斯参数进行初始化。

31、在一些实施例中，获取与目标视频数据对应的人脸三维点云数据，包括：根据预设的面部表情细节捕捉和动画制作模型，提取与所述目标视频数据对应的人脸面部表情参数；根据预设的面部关键点拟合模型，提取与所述目标视频数据对应的面部关键点参数；根据预设的运动恢复结构模型，提取与所述目标视频数据对应的相机参数和相机姿态参数；将提取到的所述人脸面部表情参数、所述面部关键点参数以及所述相机参数和所述相机姿态参数输入预设的三维人脸数据生成模型中以获取人脸三维点云数据。

32、第二方面，本技术提供一种数字人合成系统，系统包括：数据准备模块，用于获取与目标视频数据对应的人脸三维点云数据；形变映射模块，用于根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的三维标准点，其中，所述三维标准点以网格和向量的形式表示；图像渲染模块，用于根据所述三维标准点构建三维高斯集，并利用三维高斯集渲染目标视角下的目标人脸图像以合成获取目标视角下的数字人。

33、第三方面，本技术提供一种计算机程序产品，所述计算机程序被处理器执行时实现以下方法的步骤：获取与目标视频数据对应的人脸三维点云数据；根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的三维标准点，其中，所述三维标准点以网格和向量的形式表示；根据所述三维标准点构建三维高斯集，并利用三维高斯集渲染目标视角下的目标人脸图像以合成获取目标视角下的数字人。

34、第四方面，本技术提供了一种电子设备，电子设备包括：一个或多个处理器；以及与一个或多个处理器关联的存储器，存储器用于存储程序指令，程序指令在被一个或多个处理器读取执行时，执行如下操作：获取与目标视频数据对应的人脸三维点云数据；根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的三维标准点，其中，所述三维标准点以网格和向量的形式表示；根据所述三维标准点构建三维高斯集，并利用三维高斯集渲染目标视角下的目标人脸图像以合成获取目标视角下的数字人。

35、第五方面，本技术还提供了一种计算机可读存储介质，存储介质上存储计算机程序，计算机程序使得计算机执行如下操作：获取与目标视频数据对应的人脸三维点云数据；根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的三维标准点，其中，所述三维标准点以网格和向量的形式表示；根据所述三维标准点构建三维高斯集，并利用三维高斯集渲染目标视角下的目标人脸图像以合成获取目标视角下的数字人。

36、本技术实现的有益效果为：本技术提供了一种数字人合成方法，包括获取与目标视频数据对应的人脸三维点云数据；根据预设的面部形变模型将所述人脸三维点云数据中的至少一个三维形变点映射至标准空间下的三维标准点，其中，所述三维标准点以网格和向量的形式表示；根据所述三维标准点构建三维高斯集，并利用三维高斯集渲染目标视角下的目标人脸图像以合成获取目标视角下的数字人。本技术基于网格向量化的面部形变建模技术，结合三维高斯片元可微渲染技术，合成具备动态面部表情变化的高保真数字人，进一步提高了数字人的渲染效率和精度。