3D形状还原方法及还原模型的构建方法、设备、存储介质

本技术属于人工智能相关，更具体地，涉及一种3d形状还原方法及还原模型的构建方法、设备、存储介质。

背景技术：

1、随着技术的发展，人们的需求已经从简单的图文、视频等二维内容转变为更加沉浸的三维体验。虚拟现实(vr)和增强现实(ar)的技术使得用户能够以三维的视角与模拟的交通场景进行交互，仿佛身临其境。然而，创造这种高质量的三维内容对于技术和资源都有较高要求。虽然现代技术允许普通用户通过三维扫描技术创建一些基本内容，但要达到某些特殊场景如智慧交通系统所需的精确度和真实感，通常需要专业人员使用高级建模软件，如c4d、3ds max、maya或blender进行精细的手动建模和渲染。

2、因此，尽管人工智能在二维生成模型方面取得了巨大进步，三维内容生成领域的发展依旧滞后。所以目前缺乏一个能够快速生成高质量三维形状的方法，随着技术的进一步发展，解决这些问题对于智慧交通和三维实体创建等领域的未来至关重要，有望带来更为高效、安全且用户友好的使用体验。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本技术提供了一种3d形状还原方法及还原模型的构建方法、设备、存储介质，其目的在于快速生成高质量三维形状。

2、为实现上述目的，按照本技术的一个方面，提供了一种3d形状还原模型的构建方法，其包括：

3、将基于3d源数据所提取的特征进行加噪处理后所得的随机噪声输入降噪模型进行训练，以使所述降噪模型将随机噪声还原成预设程度的重建特征并输出，训练好的所述降噪模型为3d形状还原模型；

4、其中，所述降噪模型包括依次连接的多个降噪网络，各所述降噪网络包括低频分支和高频分支，所有降噪网络的低频分支依次相连，所有降噪网络的高频分支依次相连，首端高频分支用于获取所述随机噪声的高频特征，首端低频分支用于获取所述随机噪声的低频特征，末端高频分支的输出作为所述降噪模型的输出；

5、在同一降噪网络中，各分支均包括：

6、自注意力模块，用于对所属分支的输入特征xi进行处理得到特征sa(xi)；

7、resnet3d模块，用于对所属分支的输入特征xi进行处理得到特征res3d(xi)；

8、前端多层感知器模块，用于对特征sa(xi)和特征res3d(xi)的拼接特征进行处理得到特征

9、双线性插值模块，用于对所属降噪网络另一分支的由特征sa(xj)、特征res3d(xj)和特征进行拼接的特征进行处理后得到特征

10、后端多层感知器模块，用于对特征和特征的拼接特征进行处理后得到特征特征特征和特征进行拼接后的特征作为所属分支的输出特征：

11、i,j为区分高频分支和低频分支的标识。

12、在其中一些实施例中，各降噪网络还包括特征提取改进结构，所述特征提取改进结构位于所属降噪网络高频分支的输入端；

13、在第一个降噪网络中，所述特征提取改进结构用于对所述随机噪声进行处理后输入所述所属降噪网络高频分支；

14、在其他降噪网络中，所述特征提取改进结构用于对上一降噪网络高频分支的输出特征进行处理后输入所述所属降噪网络高频分支；

15、各所述特征提取改进结构包括：

16、自注意力模块，用于对所属特征提取改进结构的输入特征进行处理得到特征xs；

17、resnet3d模块，用于对所属特征提取改进结构的输入特征进行处理得到特征xr；

18、张量注意力机制模块，用于对特征xs和特征xr的拼接特征进行处理得到特征xnew；

19、特征xs、特征xr和特征xnew的拼接特征作为所属述特征提取改进结构的输出特征。

20、在其中一些实施例中，各所述resnet3d模块由3d卷积网络和残差连接构成。

21、在其中一些实施例中，对特征进行加噪处理的过程包括：

22、构造四阶噪声转移张量，将所述四阶噪声转移张量加到对应特征上，直至形成随机噪声。

23、在其中一些实施例中，所述噪声转移张量为：

24、

25、式中，qt为时间步t的噪声转移张量，d代表张量的三个空间维度的尺寸，m,n,p分别为张量的标识符；

26、

27、式中，[·]代表取张量的具体取值，表示每一个位置的特征都有的概率被替换成随机值，并且有βt的概率保持不变，其中αt＝1-γt，而γt是进入一种掩码状态的概率，概率αt和βt都取决于当前的时间步t和总的时间步长t。

28、在其中一些实施例中，进行训练的损失函数包含最小化变分下界优化损失函数和平衡增强损失函数，所述平衡增强损失函数laux为：

29、

30、式中，q(z0)表示添加噪声之前特征z0的分布，q(zt∣z0)表示对特征z0添加噪声形成的随机噪声zt的分布，表示q(z0)q(zt∣z0)的分布期望，表示对随机噪声zt进行降噪形成的重构特征的分布，θ为当前降噪模型的参数。

31、在其中一些实施例中，所述3d源数据为3d点云数据，在进行加噪之前，包括：提取3d源数据的特征，具体包括：

32、将3d点云数据转换为有符号距离格式数据；

33、将所述符号距离格式数据输入vq-vae特征提取器，得到待进行加噪处理的特征。

34、按照本技术的另一方面，提供了一种3d形状还原方法，其包括，

35、将随机噪声输入3d形状还原模型，得到重建特征；

36、对所述重建特征进行解码，得到3d形状；

37、其中，所述3d形状还原模型为利用如上任一项所述的构建方法构建而成。

38、按照本技术的又一方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述的方法的步骤。

39、按照本技术的再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的方法的步骤。

40、总体而言，通过本技术所构思的以上技术方案与现有技术相比，本技术提供的3d形状还原模型的构建方法主要具有以下有益效果：

41、1.本技术所提供的3d形状还原模型的构建方法，通过对降噪模型进行训练，使降噪模型学习降噪并输出重建特征，从而还原3d形状。其中，通过对降噪模型进行设计，其具有多个相同的降噪网络，每个降噪网络具有低频分支和高频分支，每个分支具有自注意力模块、resnet3d模块、前端多层感知器模块、双线性插值模块、后端多层感知器模块，两分支相互作用对高低频噪声进行融合，可以一定程度上抑制了高频噪声的生成，并保留了部分低频特征,而低频特征更有利于生成平滑的样本,使得生成样本的质量更高。

42、2.本技术一实施例所提供的3d形状还原模型的构建方法，通过加入特征提取改进结构，其包括自注意力模块、resnet3d模块和张量注意力机制模块，如此，可以加速特征提取的速度并很好地提取出三维空间的局部位置关联特征，从而加速训练过程并提高训练效果。

43、3.本技术一实施例所提供的3d形状还原模型的构建方法，在加噪过程中优选构建四阶噪声转移张量进行加噪，如此，可以使空间语义信息的丢失降低到了最小，即对信息的利用达到最大化，从而提高训练效果。

44、4.本技术一实施例所提供的3d形状还原模型的构建方法，损失函数还在最小化变分下界优化损失函数的基础上添加平衡增强损失函数，如此，可以更大程度上去约束生成样本和原始样本之间的分布差别，使得训练的收敛速度得到提高。