三维数字人重建方法、装置、网络设备、介质及产品与流程

本申请涉及人工智能，具体涉及一种三维数字人重建方法、装置、网络设备、介质及产品。

背景技术：

1、现有技术中，参数化重建方法所重建的三维形状过于模板化，除了设定参数所控制的形状外，很难还原出更加精细化的几何形状；非参数化重建方法需要更加复杂和昂贵的设备来获取输入数据，这增加了获取数据的难度，并且通过将采集到的三维人体网格对齐到模板网格中以获得形状和姿态参数，这破坏了隐式函数表示原有的优势，即几何表达的自由性。

技术实现思路

1、本申请的至少一个实施例提供了一种三维数字人重建方法、装置、网络设备、介质及产品，用于解决现有技术中单视图重建固有的特征模糊性的问题。

2、为了解决上述技术问题，本申请是这样实现的：

3、第一方面，本申请实施例提供了一种三维数字人重建方法，包括：

4、对输入的单人图像进行三维特征提取，确定三维几何特征；

5、根据所述单人图像和对应的法线图，确定二维像素特征；

6、根据所述三维几何特征和所述二维像素特征，提取网格表面，并通过所述网格表面重建三维数字人。

7、可选地，对输入的图像进行三维特征提取，确定三维几何特征，包括：

8、提取所述单人图像的二维特征；

9、将所述二维特征转化为三维特征；

10、通过三维卷积神经网络将形状规律性注入到所述三维特征中，确定所述三维特征所对应的全局结构信息；所述形状规律性用于描述人体不同区域的形状特征和空间信息；

11、根据所述全局结构信息，确定多个三维特征块序列；

12、通过基于自注意力机制transformer编码器，确定多个所述三维特征块序列之间的全局关系；

13、根据所述全局关系对全局形状进行约束，确定三维几何特征。

14、可选地，根据所述全局结构信息，确定多个三维特征块序列，包括：

15、根据所述全局结构信息中三维特征之间的位置关系进行区域归类，确定不同的单位特征序列块；

16、根据所述不同的单位特征序列块，对所述三维特征，选择适合特征所属区域内的目标单位特征序列块；

17、根据所述目标单位特征序列块，对所述三维特征划分为多个三维特征序列块。

18、可选地，所述方法还包括：

19、获取上一次迭代的反馈信息；

20、根据所述反馈信息，自适应更新所述单位特征序列块所对应的形状。

21、可选地，通过基于自注意力机制transformer编码器，确定多个所述三维特征块序列之间的全局关系，包括：

22、对每个所述三维特征块序列加入位置编码信息，得到目标输入信息；

23、将目标输入信息输入至transformer编码器中的每个transformer的基本块中的多头注意力层；所述transformer编码器由多个所述基本块组成，每个所述基本块包括一个多头注意力层和一个位置前馈网络；

24、所述transformer编码器对每个所述基本块的输出结果做归一化处理，确定目标矩阵信息；

25、根据解码器和所述目标矩阵信息，确定多个所述三维特征块序列之间的全局关系。

26、可选地，根据所述三维几何特征和所述二维像素特征，提取网格表面，包括：

27、对所述二维像素特征中的每个二维像素加入三维点的深度值；

28、将所述三维几何特征、所述二维像素特征和每个二维像素所对应三维点的深度值进行结合，得到的特征矩阵；

29、将所述特征矩阵输入到一个卷积神经网络中进行训练，学习一个隐式函数；所述隐式函数用于确定所述特征矩阵所对应的采样点是在人体形状的内部还是外部；

30、根据所述隐式函数和体素级重建算法，提取网格表面。

31、第二方面，本申请实施例提供了一种三维数字人重建装置，包括：

32、第一确定模块，用于对输入的单人图像进行三维特征提取，确定三维几何特征；

33、第二确定模块，用于根据所述单人图像和对应的法线图，确定二维像素特征；

34、第一处理模块，用于根据所述三维几何特征和所述二维像素特征，提取网格表面，并通过所述网格表面重建三维数字人。

35、第三方面，本申请实施例提供了一种网络设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上所述的方法的步骤。

36、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

37、第五方面，本申请实施例提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上所述的方法的步骤。

38、与现有技术相比，本申请实施例三维数字人重建方法、装置、网络设备、介质及产品，对输入的单人图像进行三维特征提取，确定三维几何特征；根据单人图像和对应的法线图，确定二维像素特征；根据三维几何特征和二维像素特征，提取网格表面，并通过网格表面重建三维数字人，本申请在三维几何特征中融合了二维像素特征，以解决单视图重建固有的特征模糊性问题，减少了在二维图像中提取出人体的关键点、轮廓等信息所带来的误差。

技术特征：

1.一种三维数字人重建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对输入的图像进行三维特征提取，确定三维几何特征，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述全局结构信息，确定多个三维特征块序列，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，通过基于自注意力机制transformer编码器，确定多个所述三维特征块序列之间的全局关系，包括：

6.根据权利要求1所述的方法，其特征在于，根据所述三维几何特征和所述二维像素特征，提取网格表面，包括：

7.一种三维数字人重建装置，其特征在于，包括：

8.一种网络设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至6任一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法的步骤。

10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。

技术总结本申请提供一种三维数字人重建方法、装置、网络设备、介质及产品。该方法包括：对输入的单人图像进行三维特征提取，确定三维几何特征；根据所述单人图像和对应的法线图，确定二维像素特征；根据所述三维几何特征和所述二维像素特征，提取网格表面，并通过所述网格表面重建三维数字人。本申请的方案在三维几何特征中融合了二维像素特征，以解决单视图重建固有的特征模糊性问题，减少了在二维图像中提取出人体的关键点、轮廓等信息所带来的误差。技术研发人员：苏将沪受保护的技术使用者：中移（苏州）软件技术有限公司技术研发日：技术公布日：2024/8/1