去噪扩散模型和局部线性嵌入正则化的三维高斯溅射方法

本公开涉及沉浸式媒体，即新视角合成，具体地，涉及一种去噪扩散模型和局部线性嵌入正则化的三维高斯溅射方法。

背景技术：

1、新视角合成(nvs)长期以来一直是计算机视觉研究中的一个基本问题。其表示基于场景的一系列输入视图渲染未见视图的任务。随着技术的不断进步，新视角合成(nvs)正在开辟视觉媒体交互与展示的新领域，为未来的数字内容创作和消费提供了广阔的可能性。

2、最近几年由于神经辐射场(nerfs)的成功，新视角合成(nvs)吸引了越来越多的关注。神经辐射场(nerfs)通过采用多层感知机(mlp)将3d点位置映射到颜色和体积密度，并通过体积渲染合成图像，从而编码3d场景。当输入视图密集时，它展现出异常高保真的视角合成能力。但是当输入视图稀疏时，其合成新视角的能力需要更进一步的探索。

技术实现思路

1、针对现有技术中的缺陷，本公开的目的是提供一种去噪扩散模型和局部线性嵌入正则化的三维高斯溅射方法。

2、根据本公开的一个方面，提供一种去噪扩散模型和局部线性嵌入正则化的三维高斯溅射方法，包括：

3、对稀疏图像进行稀疏重建处理，确定所述稀疏图像的初始高斯分布；

4、采用邻域高斯致密化方式对所述稀疏图像的初始高斯分布进行高斯密集化处理，确定经过高斯密集化处理的所述稀疏图像的高斯表示；

5、采用局部线性嵌入正则化策略对所述稀疏图像的高斯表示进行局部线性嵌入正则化处理，确定经过所述局部线性嵌入正则化处理的高斯表示；

6、采用去噪扩散模型正则化策略对所述经过所述局部线性嵌入正则化处理的高斯表示对应的图像进行图像恢复处理，确定合成的新视角图像。

7、可选地，所述方法还包括：

8、采用预设的纹理损失函数和预设的相对深度损失函数对所述高斯表示进行优化处理，确定所述合成的新视角图像。

9、可选地，所述对稀疏图像进行稀疏重建处理，确定所述稀疏图像的初始高斯分布，包括：

10、对所述稀疏图像进行特征点云提取处理，确定所述稀疏图像的稀疏点云；

11、对所述稀疏图像的稀疏点云进行融合处理，确定所述稀疏图像的初始高斯分布。

12、可选地，所述采用邻域高斯致密化方式对所述稀疏图像的初始高斯分布进行高斯密集化处理，确定经过高斯密集化处理的所述稀疏图像的高斯表示，包括：

13、根据所述稀疏图像的初始高斯分布，确定每一高斯组件与每一高斯组件之间的距离；

14、根据所述每一高斯组件与每一高斯组件之间的距离以及预设的距离阈值，对所述稀疏图像的初始高斯分布插入新的高斯组件，确定所述经过高斯密集化处理的所述稀疏图像的高斯表示。

15、可选地，所述根据所述每一高斯组件与每一高斯组件之间的距离以及预设的距离阈值，对所述稀疏图像的初始高斯分布插入新的高斯组件，确定所述经过高斯密集化处理的所述稀疏图像的高斯表示，包括：

16、若所述高斯组件与另一所述高斯组件之间的距离大于所述预设的距离阈值，在所述高斯组件与所述另一所述高斯组件之间插入新的高斯组件，确定所述经过高斯密集化处理的所述稀疏图像的高斯表示；

17、若所述高斯组件与另一所述高斯组件之间的距离不大于所述预设的距离阈值，不在所述高斯组件与所述另一所述高斯组件之间插入新的高斯组件，确定所述经过高斯密集化处理的所述稀疏图像的高斯表示。

18、可选地，所述采用局部线性嵌入正则化策略对所述稀疏图像的高斯表示进行局部线性嵌入正则化处理，确定经过所述局部线性嵌入正则化处理的高斯表示，包括：

19、根据所述稀疏图像的高斯表示的空间位置信息，确定每一稀疏图像的高斯函数的预设数量的近邻点的空间位置信息；

20、根据所述稀疏图像的高斯函数的预设数量的近邻点的空间位置信息，确定所述稀疏图像的高斯函数的邻域的重构误差；

21、将所述高斯函数的邻域的重建误差进行最小化处理，确定所述经过所述局部线性嵌入正则化处理的高斯表示。

22、可选地，所述采用去噪扩散模型正则化策略对所述经过所述局部线性嵌入正则化处理的高斯表示对应的图像进行图像恢复处理，确定合成的新视角图像，包括：

23、采用去噪扩散模型对所述经过所述局部线性嵌入正则化处理的高斯表示对应的图像进行前向扩散处理，在前向扩散过程中向所述图像添加高斯噪声，确定增加高斯噪声的图像样本；

24、采用所述去噪扩散模型对随机的rgb-d补丁进行噪声预测处理，确定分数函数的预测值；

25、根据所述分数函数的预测值，采用所述去噪扩散模型作为分数函数预测器对所述增加高斯噪声的图像样本进行反向扩散处理，在反向扩散过程中去除所述增加高斯噪声的图像样本的高斯噪声，确定所述合成的新视角图像。

26、根据本公开的第二方面，提供一种基于去噪扩散模型和局部线性嵌入正则化的三维高斯溅射系统，包括：

27、稀疏重建模块，用于对稀疏图像进行稀疏重建处理，确定所述稀疏图像的初始高斯分布；

28、高斯密集化处理模块，用于采用邻域高斯致密化方式对所述稀疏图像的初始高斯分布进行高斯密集化处理，确定经过高斯密集化处理的所述稀疏图像的高斯表示；

29、局部线性嵌入正则化处理模块，用于采用局部线性嵌入正则化策略对所述稀疏图像的高斯表示进行局部线性嵌入正则化处理，确定经过所述局部线性嵌入正则化处理的高斯表示；

30、新视角合成模块，用于采用去噪扩散模型正则化策略对经过所述局部线性嵌入正则化处理的高斯表示对应的图像进行图像恢复处理，确定合成的新视角图像。

31、根据本公开的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面提供的所述方法的步骤。

32、根据本公开的第四方面，提供一种电子设备，包括：

33、存储器，其上存储有计算机程序；

34、处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面提供的所述方法的步骤。

35、与现有技术相比，本公开实施例具有如下至少一种有益效果：

36、通过上述技术方案，采用邻域高斯致密化方式对稀疏图像的初始高斯分布进行高斯密集化处理，能够补充稀疏图像的高斯表示，提高采用稀疏图像合成新视角图像的准确性，采用局部线性嵌入正则化策略对稀疏图像的高斯表示进行局部线性嵌入正则化处理，能够提供更紧凑更光滑的高斯分布，提高高斯表示的局部分布的平滑性，提高合成新视角图像的质量，采用去噪扩散模型正则化策略，防止过拟合并减少伪影，减少人为因素的干扰，实现更快的渲染速度和更高的合成新视角图像的性能。

技术特征：

1.一种去噪扩散模型和局部线性嵌入正则化的三维高斯溅射方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述对稀疏图像进行稀疏重建处理，确定所述稀疏图像的初始高斯分布，包括：

4.根据权利要求1所述的方法，其特征在于，所述采用邻域高斯致密化方式对所述稀疏图像的初始高斯分布进行高斯密集化处理，确定经过高斯密集化处理的所述稀疏图像的高斯表示，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述每一高斯组件与每一高斯组件之间的距离以及预设的距离阈值，对所述稀疏图像的初始高斯分布插入新的高斯组件，确定所述经过高斯密集化处理的所述稀疏图像的高斯表示，包括：

6.根据权利要求1所述的方法，其特征在于，所述采用局部线性嵌入正则化策略对所述稀疏图像的高斯表示进行局部线性嵌入正则化处理，确定经过所述局部线性嵌入正则化处理的高斯表示，包括：

7.根据权利要求1所述的方法，其特征在于，所述采用去噪扩散模型正则化策略对所述经过所述局部线性嵌入正则化处理的高斯表示对应的图像进行图像恢复处理，确定合成的新视角图像，包括：

8.一种基于去噪扩散模型和局部线性嵌入正则化的三维高斯溅射系统，其特征在于，包括：

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

技术总结本公开提供一种去噪扩散模型和局部线性嵌入正则化的三维高斯溅射方法，其包括：对稀疏图像进行稀疏重建处理，确定稀疏图像的初始高斯分布；采用邻域高斯致密化方式对稀疏图像的初始高斯分布进行高斯密集化处理，确定经过高斯密集化处理的稀疏图像的高斯表示；采用局部线性嵌入正则化策略对稀疏图像的高斯表示进行局部线性嵌入正则化处理，确定经过局部线性嵌入正则化处理的高斯表示；采用去噪扩散模型正则化策略对经过局部线性嵌入正则化处理的高斯表示对应的图像进行图像恢复处理，确定合成的新视角图像。通过本公开，提高生成的高斯表示的局部分布的平滑性，并防止过拟合并减少伪影，实现更高的渲染速度和更高的性能。技术研发人员：宋利,郭帅受保护的技术使用者：上海交通大学技术研发日：技术公布日：2024/11/14