一种基于神经隐式符号距离场的半透明物体三维重建系统的方法

本发明涉及计算机视觉和三维重建领域，尤其涉及一种基于神经隐式符号距离场的半透明物体三维重建系统。

背景技术：

1、三维重建任务是指给定物体或者场景的部分视角下相机拍摄到的数据，重建出对应的物体或场景，经典的方法可以通过使用rgb-d相机和slam算法进行场景的重建。近些年来，由于神经辐射场(neural radiance fields，nerf)这一方法的提出，涌现出了许多基于神经辐射场方法进行三维重建的工作，这些方法将神经辐射场和隐式符号距离场相结合来对物体进行三维重建。

2、三维重建是计算机视觉，机器人，ar/vr等研究中的经典问题。符号距离场(以下简称“sdf”)存储每个点到图形的最近距离，将模型划出一个表面，在模型表面外侧的点数值大于0，在模型表面内侧的点数值小于0。而基于神经辐射场和隐式sdf进行三维重建目前仍是一个快速发展的新方向，由于在方法中，sdf被隐式的用多层mlp表示，使得这样的方法也被称为神经隐式符号距离场。现有的基于神经隐式sdf的三维重建方法大都将场景中的物体假设为不透明的，在这样的假设下构建理论模型，并通过深度学习这一工具来实现模型的端到端优化。然而，这样的理论假设对于非不透明物体存在缺陷，这就导致当场景中的物体存在一定的透明度或者场景中存在半透明物体时，重建的结果会远远偏离真实值。因此，目前急需一个可以在半透明物体上保持高精度的重建系统。

技术实现思路

1、本发明旨在至少解决相关技术中存在的技术问题之一。为此，本发明提供一种基于神经隐式sdf的半透明物体三维重建系统，包括物体重建和新视角合成两个大的步骤：

2、对于重建的步骤，本发明提供了在一种半透明物体重建的新理论和方法。对于新视角合成的步骤，本发明将重建的方法与特定的拍摄环境相结合，进一步恢复物体的材质信息，从而达到高质量的新视角渲染结果。

3、基于前述的两大步骤，得到半透明物体的三维模型和新视角渲染结果需要如下步骤：

4、通过采集设备获取原始的输入数据，包括rgb图像，相机内参信息；本发明中的采集设备包括但不限于相机或手机中的一种。

5、通过sfm工具colmap获取每张图片相机的位姿信息。

6、基于所述的相机内参信息和获得的相机位姿信息，均匀采样获取场景的三维空间中点的物理参数信息，其中所属的参数信息包括：体素密度、rgb颜色和到物体表面距离的sdf值。

7、基于场景中采样得到的点的物理信息，计算物体和相机方向粗粒度下的交点，从该交点出发进行额外的采样，同时获取这些采样点的物理参数信息。

8、基于场景中采样得到的两组点的物理信息，通过体渲染公式得到该视角下渲染的图片。

9、基于体渲染得到的图片，通过定义损失函数来实现对场景的神经辐射场进行优化。

10、基于优化后的神经辐射场，通过marching cube算法得到三维重建的结果。

11、基于优化后的神经辐射场，进一步优化新视角渲染的效果。在该阶段，本发明假设场景中只有一个光源且光源的位置和相机绑定。这一假设适用于使用手机的闪光灯拍摄的照片。对于这样的场景，首先计算物体和相机方向的精细粒度下的交点，将表面交点，表面法向信息输入预测物理材质的神经网络来估计表面材质；同时从表面交点出发进行在神经辐射场中进行多尺度锥形空间采样，将采样得到的信息输入颜色网络预测光线在物体内部散射的颜色值。

12、基于表面材质和物体内部的散射颜色，通过表面渲染brdf公式和体渲染公式结合得到该视角下的二次渲染结果。

13、基于二次渲染的结果，通过新视角步骤的损失函数对物体内部散射的颜色值和表面点的物理材质进行优化。

14、基于优化结束后的场景神经辐射场表达，物体内部散射的颜色值，物理材质网路，重复上述步骤即可得到新视角下的渲染结果。

15、跟据本发明提供的半透明物体重建系统，所述的三维空间采样和物理信息计算方法为：

16、首先从相机原点投射出一条光路，在光路上进行等间距均匀采样。假设光线的方向为d,相机的原点为o，则采样的三维空间点为p(t)＝o+td。其中t为在光线方向上等间距散布的值。

17、基于上述的在三维空间点内的均匀采样点，获取场景的物理参数信息：

18、有向符号距离场sdf的值：p(t)→f(p(t))，其中f表示为用多层全连接神经网络组成的用于拟合真实sdf场的函数。

19、颜色值，体素密度：通过多层全连接神经网络实现将空间点的位置信息和方向信息映射为颜色值rgb：(p,d)→(r,g,b)，通过逻辑分布函数和sdf值来计算空间点的体素密度：f(p)→(σ)。

20、跟据本发明提供的半透明物体重建系统，所述的均匀采样点的物理参数计算方法中体素密度计算方式为：

21、σ(p)＝se-sf(p)/(1+e-sf(p))2

22、其中s是可优化参数。

23、跟据本发明提供的半透明物体重建系统，所述的另外一组采样点以及物理参数的计算方法为：

24、首先在原有的均匀采样点p(t1),p(t2),p(t3)…,p(ti)内计算粗粒度的交点的集合ω，公式如下：

25、

26、其中f(t)是f(p(t))的简写，选择集合ω中最小值和最大值，记为将新的采样点均匀分布在该范围中这些采样点的颜色值，sdf值的计算方式同上一组采样点，但体素密度的计算方式不同，为：

27、

28、跟据本发明提供的半透明物体重建系统，所述的物体几何重建步骤的体渲染公式为：

29、

30、其中αj＝1-exp(-σ(pj)·||tj+1-tj||2)，

31、

32、||tj+1-tj||2表示为空间采样点pj+1,pj之间的距离，γ为人工设置的参数，用于平衡两项的结果。

33、跟据本发明提供的半透明物体重建系统，所述的物体几何重建步骤的损失函数为：

34、

35、损失函数由预测的颜色和真实的颜色的l1损失，以及sdf网络梯度为1的约束构成，其中表示在k位置处rgb的真实值，ck表示渲染得到的值，表示对于图片的k位置，第i个采样点的sdf梯度。

36、跟据本发明提供的半透明物体重建系统，所述的估计物体表面材质信息的具体计算方法为：

37、首先通过sphere tracing算法计算相机视角射线和物体表面的交点，由于在之前的步骤中我们已经优化并重建了物体的表面，所以该交点可以认为是视角射线与真实物体的表面交点，记为x，跟据sdf的性质，f(x)＝0，本发明通过神经网络估计物体表面的粗糙程度α：其中是sdf网络的隐含层特征，n是物体的表面法向。

38、跟据本发明提供的半透明物体重建系统，所述的神经辐射场中物体内部散射颜色值的预测方法为：

39、首先跟据前述的计算交点x的方法，从该点出发计算物体背面与视角射线的交点x2，仿照物体几何重建步骤中对物体内部范围采样的方法得到新的采样点，将该点的sdf值、体素密度、空间位置输入颜色网络，得到一组球谐函数的权重，用于表示该各个方向向该点散射的光线的强度，通过在单位球上均匀采样64个方向d，跟据蒙特卡洛积分法得到的具体的散射光线的强度，

40、

41、其中t表示采样点沿视角射线方向上的距离，σs是可学习的介质内的散射系数。

42、跟据本发明提供的半透明物体重建系统，新视角合成的渲染公式为

43、

44、其中fr是ggx brdf函数，o是相机的原点。

45、跟据本发明提供的半透明物体重建系统，新视角合成步骤中的损失函数定义同几何重建步骤的损失函数。

46、本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

47、本发明通过提供了一个新的三维重建系统，可以对含有半透明物体的场景进行重建和高质量的新视角渲染，通过学习场景的神经辐射场隐式表达，并经过两个阶段的优化，从而得到含有半透明物体的场景的高质量重建结果和新视角的渲染结果。

48、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。