一种基于神经辐射场的视频漂浮伪影去除方法和系统

本申请涉及三维重建，尤其涉及一种基于神经辐射场的视频漂浮伪影去除方法和系统。

背景技术：

1、nerf技术可以应用于视频的新视角合成、场景扩展以及特效制作等方面。通过nerf技术，制作人员基于已有的视频素材，生成全新的视角和场景，为观众带来更加丰富的视觉体验。同时，nerf技术还可以用于创建视频中复杂的特效，例如光影效果、透明和半透明物体的渲染等，提升视频的整体质量。现有nerf技术可以在小规模场景中合成逼真的新视角视图，但当任务扩展到大规模无界场景时，则可能会出现被称为浮动物的伪影。这类伪影通常表现为被错误建模在相机附近的半透明漂浮物体，导致生成的视频模糊，降低视频的渲染质量和重建的几何保真度。

技术实现思路

1、为解决上述技术问题，本发明的目的在于：提供一种基于神经辐射场的视频漂浮伪影去除方法和系统，能够提高视频的渲染质量和重建的几何保真度。

2、为实现上述目的，本申请实施例的一方面提出了一种基于神经辐射场的视频漂浮伪影去除方法，包括以下步骤：

3、获取训练视图，进而根据所述训练视图对全连接神经网络进行初步训练，得到神经辐射场模型；

4、将所述训练视图中的各像素点投影到所述神经辐射场模型，得到空间辐射分布，并根据所述空间辐射分布得到分布图；

5、根据所述分布图计算各所述像素点的权重，进而根据所述权重和预设的坐标截断函数对所述神经辐射场模型进行加权训练，得到漂浮伪影去除模型；

6、获取待渲染视频图像，将所述待渲染视频图像输入所述漂浮伪影去除模型，生成渲染图像。

7、在一些实施例中，将所述训练视图中的各像素点投影到所述神经辐射场模型，得到空间辐射分布这一步骤，其具体包括：

8、将所述训练视图和所述训练视图对应的相机位姿输入所述神经辐射场模型；

9、将所述训练视图中的各所述像素点投影到所述神经辐射场模型，得到各所述像素点对应的三维空间信息；

10、根据所述三维空间信息通过体积渲染计算得到各所述像素点在所述相机位姿下的深度图；

11、根据所述深度图和正交积分计算得到各所述像素点的空间位置；

12、将各所述像素点对应的所述空间位置进行离散化，得到包含各所述像素点的体素网格；

13、计算各所述体素网格的像素点数量，得到所述空间辐射分布。

14、在一些实施例中，所述根据所述空间辐射分布得到分布图这一步骤，其具体为：

15、对预设的空白哈希表进行初始化，得到哈希表，进而将各所述体素网格和所述像素点数量存储于所述哈希表中，得到所述分布图。

16、在一些实施例中，所述根据所述分布图计算各所述像素点的权重这一步骤，其具体为：

17、将所述分布图的乘法逆作为各所述像素点的权重。

18、在一些实施例中，所述根据所述权重和预设的坐标截断函数对所述神经辐射场模型进行加权训练，得到漂浮伪影去除模型这一步骤，其具体包括：

19、将所述权重作为正则化损失函数的系数，得到第一损失，并将所述权重作为重建损失函数的系数，得到第二损失；

20、根据所述第一损失和所述第二损失得到损失函数，进而根据所述损失函数和所述坐标截断函数对所述神经辐射场模型进行加权训练，得到所述漂浮伪影去除模型。

21、在一些实施例中，所述第一损失为：

22、

23、

24、其中，表示所述第一损失，表示所述正则化损失函数，w表示所述权重，n表示所有射线r的集合，s表示一组经过正则化的射线长度，α表示射线体密度分布，u和v表示所述射线r上任意两个所述像素点之间的空间坐标，αs(u)表示在空间坐标u处的步函数的插值，αs(v)表示在空间坐标v处的步函数的插值。

25、在一些实施例中，所述坐标截断函数为：

26、

27、其中，表示所述像素点的三维空间坐标，trancate(·)表示对中心区域之外的所述三维空间坐标进行截断，k表示控制坐标截断位数的超参数，||·||∞表示l∞范数。

28、为实现上述目的，本申请实施例的另一方面提出了一种基于神经辐射场的视频漂浮伪影去除系统，包括：

29、模型初步训练模块，用于获取训练视图，进而根据所述训练视图对全连接神经网络进行初步训练，得到神经辐射场模型；

30、空间辐射分布获取模块，用于将所述训练视图中的各像素点投影到所述神经辐射场模型，得到空间辐射分布，并根据所述空间辐射分布得到分布图；

31、模型加权训练模块，用于根据所述分布图计算各所述像素点的权重，进而根据所述权重和预设的坐标截断函数对所述神经辐射场模型进行加权训练，得到漂浮伪影去除模型；

32、渲染图像生成模块，用于获取待渲染视频图像，将所述待渲染视频图像输入所述漂浮伪影去除模型，生成渲染图像。

33、为实现上述目的，本申请实施例的另一方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如前面所述的基于神经辐射场的视频漂浮伪影去除方法。

34、为实现上述目的，本申请实施例的另一方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如前面所述的基于神经辐射场的视频漂浮伪影去除方法。

35、本发明的有益效果是：本发明的基于神经辐射场的视频漂浮伪影去除方法和系统，一方面通过预先训练好的神经辐射场模型挖掘输入训练视图中潜在的空间辐射分布，进而根据得到的空间辐射分布得到各像素点对应的权重，并根据权重重新分配梯度，确保稀疏采样区域在后续优化阶段具有更强烈的梯度，从而有效防止浮动伪影的出现；另一方面，利用坐标截断函数根据像素点距离中心的距离逐渐截断空间坐标，从而使远处区域的体素规模逐渐增加，有效增强渲染图像的质量和重建的几何保真度。

技术特征：

1.一种基于神经辐射场的视频漂浮伪影去除方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于神经辐射场的视频漂浮伪影去除方法，其特征在于，所述将所述训练视图中的各像素点投影到所述神经辐射场模型，得到空间辐射分布这一步骤，其具体包括：

3.根据权利要求2所述的一种基于神经辐射场的视频漂浮伪影去除方法，其特征在于，所述根据所述空间辐射分布得到分布图这一步骤，其具体为：

4.根据权利要求1所述的一种基于神经辐射场的视频漂浮伪影去除方法，其特征在于，所述根据所述分布图计算各所述像素点的权重这一步骤，其具体为：

5.根据权利要求1所述的一种基于神经辐射场的视频漂浮伪影去除方法，其特征在于，所述根据所述权重和预设的坐标截断函数对所述神经辐射场模型进行加权训练，得到漂浮伪影去除模型这一步骤，其具体包括：

6.根据权利要求5所述的一种基于神经辐射场的视频漂浮伪影去除方法，其特征在于，所述第一损失为：

7.根据权利要求1所述的一种基于神经辐射场的视频漂浮伪影去除方法，其特征在于，所述坐标截断函数为：

8.一种基于神经辐射场的视频漂浮伪影去除系统，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于神经辐射场的视频漂浮伪影去除方法的步骤。

10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的基于神经辐射场的视频漂浮伪影去除方法的步骤。

技术总结本发明公开了一种基于神经辐射场的视频漂浮伪影去除方法和系统，方法包括：获取训练视图，进而根据所述训练视图对全连接神经网络进行初步训练，得到神经辐射场模型；将所述训练视图中的各像素点投影到所述神经辐射场模型，得到空间辐射分布，并根据所述空间辐射分布得到分布图；根据所述分布图计算各所述像素点的权重，进而根据所述权重和预设的坐标截断函数对所述神经辐射场模型进行加权训练，得到漂浮伪影去除模型；获取待渲染视频图像，将所述待渲染视频图像输入所述漂浮伪影去除模型，生成渲染图像。本发明能够有效防止浮动伪影的出现，并增强渲染图像的质量和重建的几何保真度，可广泛应用于三维重建技术领域。技术研发人员：黄晋,程逸舟,王耀明,陈洁敏受保护的技术使用者：华南师范大学技术研发日：技术公布日：2024/9/2