一种从图像中提取3D模型和材质的方法与流程

本发明涉及图像处理，具体为一种从图像中提取3d模型和材质的方法。

背景技术：

1、随着计算机图形学与人工智能的飞速发展，三维重建技术也在不断向更加智能化和高效化的方向发展。经典的多视图三维重建方法有两种：(1)利用图像间的对应关系来估计深度图，此方法通常将深度图融合到点云中，可选择生成网格，但在很大程度上依赖于匹配的质量，并且在后期处理中很难纠正错误；(2)使用体素网格来表示形状，估计每个体素的占用率和颜色，但通常受到立方存储器要求的限制。

2、目前较为流行的三维重建方式采用神经渲染方法进行三维重建，然而，这些方法通常会产生将几何、材料和照明纠缠到神经网络中，不能以三角形网格格式生成，因此针对场景中的编辑操作相对困难；同时，要在传统的图形引擎中使用几何或材料时，需要使用marching cubes等方法从神经网络中预先提取几何形状，这可能会导致在三角形计数低的情况下得到的表面质量较差。最近的一些神经网络方法可以解开几何、材料和照明，但会牺牲重建质量。同时在神经网络中编码的材料不容易以与传统和现代图形引擎兼容的形式进行编辑或提取；并且这类方法主要依赖于光线进行渲染，这在训练和推理期间都是计算昂贵的。

3、针对于三维重建中材质重建的问题，描述与基于多视角rgb图的形状重建类似，一般是在不同的角度，不同的光照条件下拍摄了一系列的rgb图片，从这些图片中去恢复物体表面对应的材质属性：diffuse，normal，roughness等。根据硬件设置的不同，材质重建一般有几类方法，一类是基于light stage的，一类是基于可控光照的，还有一类是基于不清楚光照条件的(或者称自然光照条件下的)。从已知相机和光源绝对位置，到已知相机光源相对位置，再到相机和光源都不可知。

4、传统三维重建一般只侧重于几何形状的重建，比如结构光，多视几何等，针对材质重建部分，通常是利用已知位姿下拍摄的rgb图像，借助纹理映射生成一个纹理图像，即diffuse纹理。然而此纹理图像易受到拍照时光照的影响，并且在渲染过程中无法再编辑。例如，存在某些模型表面具有较强的反射性，导致拍摄得到的多角度图像中出现了led灯珠的倒影，故按纹理映射生成的diffuse纹理中也会包含此灯光倒影，最终还原至重建的模型中，给人一种不真实的瑕疵感。因此在三维重建的同时考虑材质重建是必要的。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种从图像中提取3d模型和材质的方法，具备在未知环境照明条件下照明的物体的多视图图像以及已知的相机姿态和背景分割掩码监督；并使用pbr材质直接用神经网络去回归各个属性，以达到材质重建的目的；目标表示由三角形网格、空间变化的材料(存储在2d纹理中)和照明(高动态范围环境探测器)组成等优点，解决了传统三维重建一般只侧重于几何形状的重建的问题。

3、(二)技术方案

4、为实现上述在未知环境照明条件下照明的物体的多视图图像以及已知的相机姿态和背景分割掩码监督；并使用pbr材质直接用神经网络去回归各个属性，以达到材质重建的目的；目标表示由三角形网格、空间变化的材料(存储在2d纹理中)和照明(高动态范围环境探测器)组成发目的，本发明提供如下技术方案：一种从图像中提取3d模型和材质的方法，包括以下步骤：

5、s1、优化拓扑，利用深进四面体(dmtet)在二维监督设置中通过可微分渲染；

6、s2、使用pbr材质模型，在具有延迟渲染的可微分光栅器中渲染提取的表面网格；

7、s3、在拓扑优化过程中采用体积纹理，并使用世界空间位置索引到目标纹理中；

8、s4、采用基于图像的照明模型，其中场景环境光由高分辨率立方体地图给出。

9、优选的，所述s1中的具体步骤如下：

10、s1.1、使用可微移动四面体层(mt)将sdf转换为三角形网格，在3d模型的渲染上计算的损失被反向传播到隐式字段以更新表面拓扑，优化表面网格和端到端的渲染外观；

11、s1.2、给定顶点位置为v的四面体网格，dmtet学习sdf值s和变形向量δv，sdf值和变形可以显式存储为每个网格顶点的值，也可以通过神经网络隐式存储；

12、s1.3、使用mt将sdf转换为三角形曲面网格，该三角曲面网格是可微的w.r.tsdf，并且可以改变dmtet中的表面拓扑；

13、s1.4、使用可微光栅化器渲染提取的网格以生成输出图像，图像空间损失梯度被反向传播到sdf值和偏移量(或网络权重)；

14、s1.5、对dmtet的sdf值进行了正则化，减少漂浮物和内部几何，给定二元交叉熵h,sigmoid函数σ和符号函数siogn(x)，定义正则化器为：

15、

16、在sign(si)≠sign(sj)的条件下，对四面体网格中唯一边的集合se求和。

17、优选的，所述s2中具体步骤如下：

18、s2.1、扩散瓣参数kd以四分量纹理形式提供，其中可选的第四通道α表示透明度；

19、s2.2、镜面瓣由ggx正态分布函数的粗糙度值r和金属度因子m来描述，金属度因子m通过计算镜面高光颜色来插值塑料和金属外观，公式为ks＝(1-m)·0.04+m·kd，按照标准约定，将这些值存储在纹理korm＝(o，r，m)中，其中o不使用，包括一个切线空间法线贴图，n，以捕获高频阴影细节。

20、优选的，所述s3中的具体步骤如下：

21、s3.1、体积纹理的内存占用呈立方体增长通过位置编码+mlp表示映射x→(kd，korm，n)；

22、s3.2、拓扑和mlp纹理表示收敛时，重新参数化模型:使用xatlas生成唯一的纹理坐标，并对表面网格上的mlp进行采样以初始化2d纹理，然后使用固定的拓扑继续优化；

23、优选的，所述s3.1中，给定世界空间位置x，计算基本颜色kd，镜面纹理korm(粗糙度，金属性)和切空间法向摄动n。

24、优选的，所述s4中的具体步骤如下：

25、s4.1、对入射辐射积进行积分，积分域是球体绕曲面交点法线n，计算沿ωo方向的出射亮度l(ωo)：l(ω0)＝∫ωli(ωi)f(ωi,ω0)(ωi·n)dωi；

26、s4.2、引入了split sum渲染模型的可微分版本，通过可微分渲染从图像观察中学习环境照明，让cube map(典型分辨率为6×512×512)的纹素作为可训练参数，球面高斯(sg)和球面谐波(sh)是基于图像的照明的常见近似值，通过改变sg系数(或sh系数)的数量来控制照明频率，照明积分公式：

27、l(ω0)≈∫ωf(ωi,ω0)(ωi·n)dωi∫ωli(ωi)d(ωi,ω0)(ωi·n)dωi

28、第一项表示在固体白色环境光下镜面bsdf的积分，它只依赖于参数cosθ＝ωi·n和bsdf的粗糙度r，可以预先计算并存储在二维查找纹理中，第二项表示入射辐射与镜面ndf d的积分。

29、s4.3、使用pytorch的自动微分来表达光照计算，获得纹素梯度，另外还创建了一个过滤后的低分辨率(6×16×16)cube map来表示漫反射光照，过程与过滤镜面探头相同，共享相同的可训练参数，平均池到mip级别，粗糙度r＝1，扩散项的预滤波只使用余弦项ωi·n，两个滤波步骤是完全可微的，并且在每个训练步骤中执行。

30、(三)有益效果

31、与现有技术相比，本发明提供了一种从图像中提取3d模型和材质的方法，具备以下有益效果：

32、1、该从图像中提取3d模型和材质的方法，从2d监督中共同学习拓扑，材料和环境地图照明。利用可微移动四面体直接优化三角形网格的拓扑结构。当拓扑结构发生巨大变化时，通过体积纹理学习材料，使用具有位置编码的mlp进行有效编码。输出表示为一个带有空间变化的2d纹理和高动态范围环境地图的三角形网格，其与现有的渲染器和建模工具直接兼容。本发明实现端到端训练，通过图像空间的损失进行监督，并对所有阶段进行基于梯度的优化。

33、2、该从图像中提取3d模型和材质的方法，优化了存储在hdr探针中的显式表面网格、brdf参数和照明，开拓了一种2d多视图图像到3d重建的新工作，其能够从多视图图像中提取具有空间变化材料和环境照明的未知拓扑的三角形网格，支持在任何传统和现代图形引擎中部署。