三维对象的生成方法、装置、设备及存储介质

本公开涉及计算机，特别涉及一种三维对象的生成方法、装置、设备及存储介质。

背景技术：

1、随着人工智能技术的快速发展与日益普及，采用人工智能技术来自动生成三维对象的三维对象生成(3d aigc，three dimensional artificial intelligence generatedcontent)技术应运而生。其中，通过三维对象生成技术能够生成丰富多彩的三维对象，为游戏、影视、建筑等领域的创新提供无限可能。

2、相关技术中，通常采用分数蒸馏采样(sds)算法，来实现利用预训练的二维扩散模型从文本或图像中自动生成与之对应的三维对象，从而无需获取专门的三维训练数据集，即可利用基于二维数据训练得到的扩散模型来生成三维对象。

3、然而，在使用sds算法生成三维对象的过程中，为了保证三维对象的生成质量，通常需要经过大量的梯度更新，进而需要经过多次扩散模型的前向计算，导致三维对象的生成效率低下。

技术实现思路

1、本公开提供一种三维对象的生成方法、装置、设备及存储介质，能够大大减少生成目标三维对象过程中所需的三维对象生成模型的总前向计算次数，提高三维对象的生成效率。本公开的技术方案如下：

2、根据本公开实施例的一方面，提供一种三维对象的生成方法，包括：

3、在第i轮迭代过程中，通过三维对象生成模型对第一多视角图像进行精调，得到第二多视角图像，所述第一多视角图像为对第一三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像，所述第一三维信息用于表示第i-1轮迭代生成的目标三维对象，所述目标三维对象为目标媒体资源对应的三维对象，所述第二多视角图像保留有所述第一多视角图像的部分图像特征且所述第二多视角图像的质量高于所述第一多视角图像，所述三维对象生成模型用于基于输入的二维媒体资源生成所述二维媒体资源对应的三维对象，i为大于1的整数；

4、基于所述第一多视角图像和所述第二多视角图像之间的差异，对所述第一三维信息进行多次更新，直至更新得到的第二三维信息表示的目标三维对象对应的多视角图像与所述第二多视角图像之间的差异小于第一阈值，所述第二三维信息用于表示第i轮迭代生成的目标三维对象；

5、响应于满足迭代结束条件，基于所述第二三维信息，生成所述目标三维对象。

6、在一些实施例中，所述通过三维对象生成模型对第一多视角图像进行精调，得到第二多视角图像，包括：

7、将所述第一多视角图像输入到所述三维对象生成模型的编码器进行编码，得到第一隐空间向量，所述第一隐空间向量用于表示所述第一多视角图像在隐空间中的图像特征；

8、基于所述三维对象生成模型的前向扩散模块，对所述第一隐空间向量依次添加随机噪声和目标噪声，得到噪声隐空间向量，所述目标噪声为基于所述第一多视角图像的图像特征生成的噪声，所述噪声隐空间向量用于表示添加噪声后的所述第一多视角图像在所述隐空间中的图像特征；

9、基于所述三维对象生成模型的反向扩散模块，对所述噪声隐空间向量进行去噪，得到第二隐空间向量，所述第二隐空间向量用于表示所述第二多视角图像在所述隐空间中的图像特征；

10、将所述第二隐空间向量输入到所述三维对象生成模型的解码器进行解码，得到所述第二多视角图像。

11、在一些实施例中，所述对所述第一隐空间向量依次添加随机噪声和目标噪声，得到噪声隐空间向量，包括：

12、从第一时刻开始，按照第一时长对所述第一隐空间向量添加所述随机噪声，所述第一时长与所述迭代过程的轮次负相关；

13、从第二时刻开始，按照第二时长对所述第一隐空间向量添加所述目标噪声，得到所述噪声隐空间向量，所述第二时刻为所述第一时长的结束时刻，所述第二时长与所述迭代过程的轮次负相关。

14、在一些实施例中，所述基于所述第一多视角图像和所述第二多视角图像之间的差异，对所述第一三维信息进行多次更新，直至更新得到的第二三维信息表示的目标三维对象对应的多视角图像与所述第二多视角图像之间的差异小于第一阈值，包括：

15、在第一次更新过程中，基于所述第二多视角图像和所述第一多视角图像之间的差异，对所述第一三维信息进行更新，得到第三三维信息，所述第三三维信息用于表示第i轮迭代过程中第一次更新生成的目标三维对象，所述第三三维信息表示的目标三维对象的质量高于所述第一三维信息表示的目标三维对象；

16、在第m次更新过程中，基于渲染函数，对第四三维信息表示的目标三维对象进行渲染，得到第三多视角图像，所述第四三维信息用于表示第i轮迭代过程中第m-1次更新生成的目标三维对象，所述第三多视角图像为对所述第四三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像，m为大于1的整数；

17、基于所述第二多视角图像和所述第三多视角图像之间的差异，对所述第四三维信息进行更新，直至更新得到的所述第二三维信息表示的目标三维对象对应的多视角图像与所述第二多视角图像之间的差异小于所述第一阈值。

18、在一些实施例中，所述响应于满足迭代结束条件，基于所述第二三维信息，生成所述目标三维对象，包括：

19、在所述迭代结束条件为所述迭代过程的轮次达到预设次数的情况下，响应于i达到所述预设次数，基于所述第二三维信息，生成所述目标三维对象；或者，

20、在所述迭代结束条件为三维对象生成模型在任一轮迭代过程中生成的目标三维对象的生成质量达到第二阈值的情况下，基于渲染函数，对所述第二三维信息表示的目标三维对象进行渲染，得到第四多视角图像，所述第四多视角图像为对所述第二三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像；

21、在目标媒体资源为二维图像的情况下，基于所述目标媒体资源和所述第四多视角图像，确定图像相似度，所述图像相似度用于指示所述目标媒体资源和所述第四多视角图像之间的相似程度；

22、在所述图像相似度达到所述第二阈值的情况下，基于所述第二三维信息，生成所述目标三维对象。

23、在一些实施例中，所述方法还包括：

24、响应于不满足所述迭代结束条件，执行第i+1轮迭代过程，直至所述迭代过程的轮次达到预设次数，或者所述三维对象生成模型在任一轮迭代过程中生成的目标三维对象的生成质量达到第二阈值。

25、在一些实施例中，所述方法还包括：

26、将所述目标媒体资源输入到所述三维对象生成模型进行处理，得到第五三维信息，所述第五三维信息用于表示在第一轮迭代前生成的目标三维对象；

27、在第一轮迭代过程中，基于渲染函数，对所述第五三维信息表示的目标三维对象进行渲染，得到第五多视角图像，所述第五多视角图像为对所述第五三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像；

28、通过所述三维对象生成模型对所述第五多视角图像进行精调，得到第六多视角图像，所述第六多视角图像保留有所述第五多视角图像的部分图像特征且所述第六多视角图像的质量高于所述第五多视角图像；

29、基于所述第五多视角图像和所述第六多视角图像之间的差异，对所述第五三维信息进行多次更新，直至更新得到的第六三维信息表示的目标三维对象对应的多视角图像与所述第六多视角图像之间的差异小于所述第一阈值，所述第六三维信息用于表示第一轮迭代生成的目标三维对象。

30、根据本公开实施例的另一方面，提供一种三维对象的生成装置，包括：

31、精调单元，被配置为在第i轮迭代过程中，通过三维对象生成模型对第一多视角图像进行精调，得到第二多视角图像，所述第一多视角图像为对第一三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像，所述第一三维信息用于表示第i-1轮迭代生成的目标三维对象，所述目标三维对象为目标媒体资源对应的三维对象，所述第二多视角图像保留有所述第一多视角图像的部分图像特征且所述第二多视角图像的质量高于所述第一多视角图像，所述三维对象生成模型用于基于输入的二维媒体资源生成所述二维媒体资源对应的三维对象，i为大于1的整数；

32、更新单元，被配置为基于所述第一多视角图像和所述第二多视角图像之间的差异，对所述第一三维信息进行多次更新，直至更新得到的第二三维信息表示的目标三维对象对应的多视角图像与所述第二多视角图像之间的差异小于第一阈值，所述第二三维信息用于表示第i轮迭代生成的目标三维对象；

33、生成单元，被配置为响应于满足迭代结束条件，基于所述第二三维信息，生成所述目标三维对象。

34、在一些实施例中，所述精调单元，包括：

35、编码子单元，被配置为将所述第一多视角图像输入到所述三维对象生成模型的编码器进行编码，得到第一隐空间向量，所述第一隐空间向量用于表示所述第一多视角图像在隐空间中的图像特征；

36、精调子单元，被配置为基于所述三维对象生成模型的前向扩散模块，对所述第一隐空间向量依次添加随机噪声和目标噪声，得到噪声隐空间向量，所述目标噪声为基于所述第一多视角图像的图像特征生成的噪声，所述噪声隐空间向量用于表示添加噪声后的所述第一多视角图像在所述隐空间中的图像特征；基于所述三维对象生成模型的反向扩散模块，对所述噪声隐空间向量进行去噪，得到第二隐空间向量，所述第二隐空间向量用于表示所述第二多视角图像在所述隐空间中的图像特征；

37、解码子单元，被配置为将所述第二隐空间向量输入到所述三维对象生成模型的解码器进行解码，得到所述第二多视角图像。

38、在一些实施例中，所述精调子单元，被配置为从第一时刻开始，按照第一时长对所述第一隐空间向量添加所述随机噪声，所述第一时长与所述迭代过程的轮次负相关；从第二时刻开始，按照第二时长对所述第一隐空间向量添加所述目标噪声，得到所述噪声隐空间向量，所述第二时刻为所述第一时长的结束时刻，所述第二时长与所述迭代过程的轮次负相关。

39、在一些实施例中，所述更新单元，包括：

40、第一更新子单元，被配置为在第一次更新过程中，基于所述第二多视角图像和所述第一多视角图像之间的差异，对所述第一三维信息进行更新，得到第三三维信息，所述第三三维信息用于表示第i轮迭代过程中第一次更新生成的目标三维对象，所述第三三维信息表示的目标三维对象的质量高于所述第一三维信息表示的目标三维对象；

41、渲染子单元，被配置为在第m次更新过程中，基于渲染函数，对第四三维信息表示的目标三维对象进行渲染，得到第三多视角图像，所述第四三维信息用于表示第i轮迭代过程中第m-1次更新生成的目标三维对象，所述第三多视角图像为对所述第四三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像，m为大于1的整数；

42、第二更新子单元，被配置为基于所述第二多视角图像和所述第三多视角图像之间的差异，对所述第四三维信息进行更新，直至更新得到的所述第二三维信息表示的目标三维对象对应的多视角图像与所述第二多视角图像之间的差异小于所述第一阈值。

43、在一些实施例中，所述生成单元，被配置为在所述迭代结束条件为所述迭代过程的轮次达到预设次数的情况下，响应于i达到所述预设次数，基于所述第二三维信息，生成所述目标三维对象；或者，在所述迭代结束条件为三维对象生成模型在任一轮迭代过程中生成的目标三维对象的生成质量达到第二阈值的情况下，基于渲染函数，对所述第二三维信息表示的目标三维对象进行渲染，得到第四多视角图像，所述第四多视角图像为对所述第二三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像；在目标媒体资源为二维图像的情况下，基于所述目标媒体资源和所述第四多视角图像，确定图像相似度，所述图像相似度用于指示所述目标媒体资源和所述第四多视角图像之间的相似程度；在所述图像相似度达到所述第二阈值的情况下，基于所述第二三维信息，生成所述目标三维对象。

44、在一些实施例中，所述装置还包括：

45、迭代单元，被配置为响应于不满足所述迭代结束条件，执行第i+1轮迭代过程，直至所述迭代过程的轮次达到预设次数，或者所述三维对象生成模型在任一轮迭代过程中生成的目标三维对象的生成质量达到第二阈值。

46、在一些实施例中，所述装置还包括：

47、处理单元，被配置为将所述目标媒体资源输入到所述三维对象生成模型进行处理，得到第五三维信息，所述第五三维信息用于表示在第一轮迭代前生成的目标三维对象；

48、渲染单元，被配置为在第一轮迭代过程中，基于渲染函数，对所述第五三维信息表示的目标三维对象进行渲染，得到第五多视角图像，所述第五多视角图像为对所述第五三维信息表示的目标三维对象从不同视角渲染得到的多个二维图像；

49、所述精调单元，还被配置为通过所述三维对象生成模型对所述第五多视角图像进行精调，得到第六多视角图像，所述第六多视角图像保留有所述第五多视角图像的部分图像特征且所述第六多视角图像的质量高于所述第五多视角图像；

50、所述更新单元，还被配置为基于所述第五多视角图像和所述第六多视角图像之间的差异，对所述第五三维信息进行多次更新，直至更新得到的第六三维信息表示的目标三维对象对应的多视角图像与所述第六多视角图像之间的差异小于所述第一阈值，所述第六三维信息用于表示第一轮迭代生成的目标三维对象。

51、根据本公开实施例的另一方面，提供一种电子设备，该电子设备包括：

52、一个或多个处理器；

53、用于存储该处理器可执行程序代码的存储器；

54、其中，该处理器被配置为执行该程序代码，以实现上述三维对象的生成方法。

55、根据本公开实施例的另一方面，提供一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由电子设备的处理器执行时，使得电子设备能够执行上述三维对象的生成方法。

56、根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述三维对象的生成方法。

57、本公开实施例提供了一种三维对象的生成方法，在对三维对象生成模型基于输入的目标媒体资源生成的目标三维对象进行第i轮迭代的过程中，通过利用三维对象生成模型，对在上一轮迭代过程中得到的第一三维信息表示的目标三维对象进行渲染得到的第一多视角图像进行精调，能够得到质量足够高的第二多视角图像，进而能够在本轮迭代过程中重复利用第二多视角图像对第一三维信息进行多次更新，得到第二三维信息，从而能够大大减少生成目标三维对象过程中所需的三维对象生成模型的总前向计算次数，提高三维对象的生成效率。

58、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。