基于三维高斯点云泼溅算法恢复高光细节的方法

本发明涉及三维重建领域，尤其涉及一种基于三维点云泼溅算法新视角图像恢复高光细节的方法。

背景技术：

1、高斯点云泼溅算法(gaussian splatting)是一类基于点云数据的新视角重建技术，这类技术广泛应用于游戏建模、增强现实、虚拟现实、影视特效等领域。高斯点云泼溅通过高斯分布表示场景中的点，每个点表示为高斯核。通过优化点的位置、颜色、不透明度和高斯形状，实现通过有限的图片还原出真实场景或物体的全方位视角图片。相较于其他使用神经网络学习未知视角图片的方法，该方法具有渲染效率高，图片质量高的优势。尽管该方法能够快速地渲染出新视角图片，由于不同视角下同一个高斯核需要多次参与阿尔法混合渲染，高斯核往往拟合成固定的中间颜色，使得该方法在对视角变化非常敏感的高光部分产生明显的差异。日常生活中的物体大部分都具有或多或少的高光现象，高光细节的丢失直接导致图片真实感大幅下降。而传统渲染方法针对高光细节需要精确的物体表面信息，计算复杂的光线反射，进而导致渲染难度提升。因此结合高斯点云泼溅算法同时恢复高光细节对得到足够真实的新视角图片渲染意义重大。

技术实现思路

1、(一)要解决的技术问题

2、本发明的目的在于提供一种基于三维高斯点云泼溅算法恢复高光细节的方法，解决上述的技术问题。

3、(二)技术方案

4、本发明提供了一种基于三维高斯点云泼溅算法恢复高光细节的方法，包括：

5、模型的设计，基于新视角生成任务，结合原有三维高斯点云数据特征构建高光恢复模型；

6、数据获取，本步骤使用原有三维高斯点云泼溅算法图像作为粗糙待恢复图像，结合nerf静态数据集图像训练高光恢复模型；

7、模型的训练，图像和相机姿态输入，设置相应的超参数进行训练模型，优化高光恢复模型中的高光球谐函数参数；

8、图像测试，通过对原方法点云进行多视角渲染原粗糙图像，对比本发明方法高光改进细节，包括图像高光细节直观对比、图像数据指标分析。

9、在本发明的一些实施例中，所述模型的设计包括：

10、高光恢复模型g，初始化高光模型g。针对需要恢复高光细节的场景或物体输入预训练好的相应三维高斯点云p，该三维高斯点云p具有对场景或物体的基本几何和颜色信息，读取相关数据并写入高光模型g。利用pytorch框架继承module类构建高光恢复模型，将点的数量、位置、代表每个点高斯范围的协方差、旋转参数、以及点的不透明度作为固定参数复制进高光模型g。同时读取点云p每个点的球谐函数参数形状，确保高光模型恢复后的高光球谐函数阶数与原点云相同。初始化高光球谐函数张量lights_shs，形状与预训练的三维高斯点云p中颜色球谐函数参数张量相同，值全为0。高光球谐函数的意义在于将原本颜色视为漫反射颜色的基础上缺失的高光颜色，因此设置为可学习参数，其他参数设置为固定参数不做修改。初始化高光模型g的其他学习参数。模型通过固定原有场景或物体的原本颜色情况下，学习高光球谐函数参数拟合缺失的高光细节达到恢复场景或物体的高光表现的效果。

11、高光恢复模型g的模型训练设置。高光恢复模型仅训练恢复模型的高光球谐函数参数，综合考虑每个点需要拟合的参数大小以及训练时长，模型设置高光球谐函数参数进行一次sigmoid函数激活，然后输入渲染器渲染高光图。模型需初始化高光恢复模型保存路径，训练轮次，学习率更新轮次以及可以学习率更新幅度，用户可以根据高光恢复的程度进行调整。同时，模型初始化两项损失函数以及占比权重λ，调整该项权重控制高光学习的倾向。模型损失函数采取图像像素绝对差值均值l1，以及图像结构相似性误差lssim。

12、在本发明的一些实施例中，所述数据获取包括：

13、使用三维重建常用的nerf数据集进行高光恢复模型g训练。该数据集包含不同相机视角下的物体渲染图像，每个相机视角矩阵对应一张图像。高光恢复模型在保持相机视角矩阵与渲染图像对应关系的同时打乱顺序，这样可以提高模型的稳定性。模型训练每个批次，依次读取打乱后的相机视角矩阵以及该视角下的数据集图像，将其输入模型中训练。将预训练三维高斯点云p使用点云自带渲染器渲染粗糙图像color_0。然后，根据高光恢复模型获取相应的渲染器所需参数，包括点的数量，点的高斯协方差矩阵，旋转参数，不透明度，以及当前每个点的高光球谐函数系数。高光球谐函数通过三维高斯点云p解码为预计算颜色，然后将该颜色即模型获取的渲染器所需参数一同输入自带渲染器进行渲染出高光细节图像color_1。将粗糙图像与高光细节图像一同汇总成最终渲染图像img_render。使用简化的渲染公式进行汇总最终渲染图像。公式如下：

14、img_render＝color_0+color_1

15、该公式的意义是，将每个高斯球的粗糙颜色color_0作为漫反射颜色，将高光恢复模型g所恢复的高光细节颜色color_1与color_0进行相加汇总。

16、在本发明的一些实施例中，所述模型的训练包括：

17、渲染最终图像与数据集图像对比。使用图像像素绝对差值均值l1以及图像结构相似性误差lssim作为模型计算的损失函数。像素绝对差值均值衡量两张图像素层次的差异，帮助模型恢复高光图本身的颜色。图像结构相似性误差衡量渲染图像与数据集图像的结构性差异。根据模型初始化参数损失函数权重λ汇总模型的总误差，loss＝λ*l1+(1-λ)*lssim。最终渲染图像与数据集中的渲染图像计算损失函数，然后将最终损失根据pytorch框架返回修改高光恢复模型g中的高光球谐函数参数，直至达到预设的训练轮次。

18、在本发明的一些实施例中，所诉图像测试，包括步骤：

19、图像高光细节直观对比。模型输出学习到的高光细节图，直观展示模型学习到的原三维高斯点云缺失的高光细节。用户可以直观地对比最终渲染图像img_render与原三维高斯点云p渲染的color_0的高光差异。

20、图像数据指标分析。模型可以输出原三维高斯点云p渲染的color_0与本方法最终渲染图像img_render的图像数据指标。包括峰值信噪比、与数据集图像的结构相似性，以及图像像素绝对差值均值，可从数据角度对比本方法的改善效果。

21、(三)有益效果

22、本发明的一种基于三维高斯点云泼溅算法恢复高光细节的方法，相较于现有技术，至少具有以下优点：

23、1、无需获取场景或物体的表面信息直接计算高光表现。

24、2、弥补原有三维高斯泼溅技术在新视角渲染时的高光缺失。

25、3、设计了端到端的代码结构，用户只需要提供一组视角图片与对应相机姿态，即可根据用户需求渲染出包括高光细节的未知视角图像。

技术特征：

1.基于三维高斯点云泼溅算法恢复高光细节的方法的步骤包括：

2.根据权利要求1所述的基于三维高斯点云泼溅算法恢复高光细节的方法，其中，所述模型设计包括：初始化高光模型g。针对需要恢复高光细节的场景或物体输入预训练好的相应三维高斯点云p，该三维高斯点云p具有对场景或物体的基本几何和颜色信息，读取相关数据并写入高光模型g。利用pytorch框架继承module类构建高光恢复模型，将点的数量、位置、代表每个点高斯范围的协方差、旋转参数、以及点的不透明度作为固定参数复制进高光模型g。同时读取点云p每个点的球谐函数参数形状，确保高光模型恢复后的高光球谐函数阶数与原点云相同。初始化高光球谐函数张量lights_shs，形状与预训练的三维高斯点云p中颜色球谐函数参数张量相同，值全为0。高光球谐函数的意义在于将原本颜色视为漫反射颜色的基础上缺失的高光颜色，因此设置为可学习参数，其他参数设置为固定参数不做修改。初始化高光模型g的其他学习参数。模型通过固定原有场景或物体的原本颜色情况下，学习高光球谐函数参数拟合缺失的高光细节达到恢复场景或物体的高光表现的效果。

3.根据权利要求1所述的基于三维高斯点云泼溅算法恢复高光细节的方法，其中，还包括：高光恢复模型g的模型训练设置。高光恢复模型仅训练恢复模型的高光球谐函数参数，综合考虑每个点需要拟合的参数大小以及训练时长，模型设置高光球谐函数参数进行一次sigmoid函数激活，然后输入渲染器渲染高光图。模型需初始化高光恢复模型保存路径，训练轮次，学习率更新轮次以及可以学习率更新幅度，用户可以根据高光恢复的程度进行调整。同时，模型初始化两项损失函数以及占比权重λ，调整该项权重控制高光学习的倾向。模型损失函数采取图像像素绝对差值均值l1，以及图像结构相似性误差lssim。

4.根据权利要求1所述的基于三维高斯点云泼溅算法恢复高光细节的方法，其中，所述数据获取包括：使用三维重建常用的nerf数据集进行高光恢复模型g训练。该数据集包含不同相机视角下的物体渲染图像，每个相机视角矩阵对应一张图像。高光恢复模型在保持相机视角矩阵与渲染图像对应关系的同时打乱顺序，这样可以提高模型的稳定性。模型训练每个批次，依次读取打乱后的相机视角矩阵以及该视角下的数据集图像，将其输入模型中训练。

5.根据权利要求1所述的基于三维高斯点云泼溅算法恢复高光细节的方法，其中，所述模型训练包括：渲染出高光图像与数据集图像对比。首先，将预训练三维高斯点云p使用点云自带渲染器渲染粗糙图像color_0。然后，根据高光

6.根据权利要求5所述的基于三维高斯点云泼溅算法恢复高光细节的方法，其中，所述汇总最终图像包括：使用简化的渲染公式进行训练。公式如下：

7.根据权利要求5所述的基于三维高斯点云泼溅算法恢复高光细节的方法，其中，所述图像计算损失函数包括：使用图像像素绝对差值均值l1以及图像结构相似性误差lssim作为模型计算的损失函数。像素绝对差值均值衡量两张图像素层次的差异，帮助模型恢复高光图本身的颜色。图像结构相似性误差衡量渲染图像与数据集图像的结构性差异。根据模型初始化参数损失函数权重λ汇总模型的总误差，loss＝λ*l1+(1-λ)*lssim。

8.根据权利要求1所述的基于三维高斯点云泼溅算法恢复高光细节的方法，其中，图像测试，包括：

技术总结本发明公开了一种基于三维高斯泼溅点云恢复高光细节的方法，包括：三维高斯点云初始化；构建高光恢复模型；生成点云高光球谐函数系数；读取训练数据集图像；高光球谐函数系数训练；高光恢复模型训练高光球谐函数损失计算。本发明利用不同视角图像之间的高光表现来进行高光细节恢复，使得高光恢复模型可以学习不同视角下每个高斯点的高光表现，准确合成原本点云丢失的高光细节。技术研发人员：蔡文瑞,周世哲受保护的技术使用者：湖南大学技术研发日：技术公布日：2024/10/10