一种单视角图像驱动的高真实感虚拟服装神经渲染方法

本发明涉及一种单视角图像驱动的高真实感虚拟服装神经渲染方法，属于计算机视觉、图形图像领域。

背景技术：

1、虚拟服装作为现代数字化社会的重要虚拟资产，在服装设计、体育、电影、动画、游戏等行业占据着举足轻重的地位。虚拟服装在图案、层次和风格款式上呈现的多样性增加了其获取的难度，此外，服装与人体的交互以及不同材质的渲染效果也加大了虚拟服装在特定场景中精准逼真呈现的挑战。公知方法中，基于三维网格的传统纹理贴图难以处理高动态范围和复杂光影效果，尤其是在透射或反射材质上的表现往往不够真实。隐函数方法虽然能无限分辨率地展现服装细节，但需要解决大量优化问题进行密集的采样计算，且依赖于全局的函数表示，实时交互能力差。而神经辐射场渲染则是通过模拟光线在场景中的传播及其与物体表面的复杂相互作用，有效地处理了材质的透明度与反射特性，能捉服装上的细微纹理并呈现出复杂的光影效果，从而产生高质量且具有真实感的图像，此外，其支持从连续变化的视角进行渲染，进一步增强了视觉效果的连贯性和逼真度。例如wang(<computer vision and pattern recognition>,2023)引入了一种新颖的几何引导三平面表示，显著增强了特征表示的鲁棒性。weng(<computer vision and pattern recognition>,2024)通过加入条件扩散模型生成的密集视图，补全了渲染缺失的细节并细化纹理。gao(<ieee transactions on pattern analysis and machine intelligence>,2022)实现了自注意力机制特征提取，增强了全局上下文感知能力和细节表现力。上述公知方法都是从着装人体的单幅图像、多视角图像或视频输入对着装人体进行渲染。

2、由于现实服装往往含有不同的结构、层次及纹理特征，且输入数据中的服装常常因被人体遮挡或视线阻挡而缺少整体拓扑和细节纹理信息，而现有的公知方法未能考虑服装信息缺失情况下，从单视角着装人体图像中分离出完整服装信息并实现高质量神经渲染。因此，本发明提出一种单视角图像驱动的高真实感虚拟服装神经渲染方法。对输入服装图像、服装三维网格、服装掩码点云映射关系进行特征编码并，提取服装的整体结构、局部细节、映射信息，以解决拓扑结构失真，细节模糊与伪影等问题；结合人体姿态参数求解服装查询点在观测空间、规范空间和姿态空间之间渲染参数的变换关系，渲染得到服装在指定视角和姿态下的图像，以解决虚拟服装在不同视角和姿态下的连续稳定性。

技术实现思路

1、本发明提供了一种单视角图像驱动的高真实感虚拟服装神经渲染方法，用于解决基于单视角图像生成的虚拟服饰的渲染拓扑失真、细节模糊和稳定性差等问题，生成高逼真度的服装渲染图像。

2、本发明的技术方案是：一种单视角图像驱动的高真实感虚拟服装神经渲染方法：包括如下步骤：

3、step1、基于服装部件和人体姿态对输入的单视角着装人体图像i进行三维服装重建，得到部件分割后的服装图像ig、服装部件掩码mg和输入姿态下的三维服装网格mg；

4、step2、基于部件分割后的服装图像ig、三维服装网格mg、服装部件掩码mg到点云pg的映射关系pg→mg进行服装特征编码，得到风格特征fstyle、空间特征fspace和映射特征fmapping；

5、step3、通过构建的基于神经辐射场的服装特征解码模块，融合风格、空间和映射特征，得到规范空间中用于神经辐射场渲染的服装查询点颜色cc与密度σc；

6、step4、通过求解服装查询点在观测空间、规范空间和姿态空间之间渲染参数的变换关系，进行服装神经渲染，最终得到高真实感的服装渲染结果ir。

7、进一步地，所述step2的具体过程如下：

8、step2.1服装风格特征编码

9、首先，基于部件分割后的服装图像ig，通过构建的服装风格特征编码器fz进行压缩编码，将ig映射为一个中间层的潜在向量

10、然后基于生成对抗网络stylegan定义映射网络cm，将输入的潜在向量z映射到另一个用于控制后续服装风格样式和内容编码的潜在向量ws，再经过构建的风格合成网络csys，ws在csys中被编译为三平面特征表征planetri为32通道、高度和宽度为256的三平面特征图。

11、最后，定义采样函数fs，根据3d坐标对planetri进行正交投影采样获取ns个特征点，通过构建的服装图像风格编码网络：最终得到服装风格特征fstyle。

12、step2.2服装空间特征提取

13、首先，拼接服装点云集获得观测人物的着装服装点云其中{p1,p2,...,pi}为step1生成的各个部件的服装点云集，根据相机参数将pg沿着观测视角光路dobs投影获取映射图uvg；

14、然后，提取服装图像ig的特征图fg，根据映射图uvg的索引对fg和ig进行2d到3d的特征映射以获取观测空间的服装网格顶点特征fver和颜色特征frgb，拼接fver和frgb并通过卷积降维以获取观测空间的服装低级3d特征；

15、最后通过稀疏卷积网络来逐层卷积和下采样服装低级3d特征，得到服装空间特征fspace。

16、step2.3服装映射特征编码

17、首先建立包含服装点云pg的采样空间，通过计算采样空间中查询点qs距pg中最近点的欧式距离，选取满足||qs-pg||2≤dt的qs作为采样点，其中点pg∈pg，dt为采样阈值；

18、然后将观测空间中的采样点集qs沿着观测视角光路dobs进行投影变换，映射为服装掩码图像mg上的投影掩码uvs，根据uvs的位置编码对ig和2d编码器提取的特征图进行像素采样和特征采样，得到采样像素映射特征fp和采样像素颜色特征fc；

19、最后通过融合采样像素映射特征fp和采样像素颜色特征fc，得到服装映射特征fmapping。

20、进一步地，所述step3的具体过程如下：

21、先通过对风格特征fstyle、空间特征fspace和映射特征fmapping进行融合，生成服装的融合特征ffus；

22、再采用基于神经辐射场的服装特征解码模块对融合特征ffus进行服装特征解码，通过定义的基于神经辐射场的服装特征解码模块dnerf:(ffus,qc,dobs)→(cc,σc)，其中qc和dobs为服装规范空间中的查询点和观测光路，最终获得规范空间中用于神经辐射场渲染的服装查询点颜色cc与密度σc。

23、进一步地，所述step4的具体过程如下：

24、首先将目标姿态空间中服装上的查询点qt通过逆变换为规范空间中的点其中，与规范空间服装点云中的点有最近的欧式距离；

25、然后定义与在指定观测光路dt下具有相同的颜色和密度场函数fnerf，即指定观测光路dt下的目标姿态空间中服装查询点qt的神经辐射场颜色ct与密度σt表示如下：dnerf(qt,dt,fstyle,fspace,fmapping)→(ct,σt)；

26、最后基于神经辐射场的颜色、透明度以及渲染参数对空间体素积分，计算服装神经渲染的二维图像像素ir(r)如下：其中r(t)＝o+tdt表示由相机光心o沿着dt方向的逆光路射线，tu和tl为r(t)在服装采样区域传播的上界和下界。体积密度σt(r(t))表示射线r(t)在t处的粒子密度，体素颜色值ct(r(t),dt)表示为射线r(t)沿着dt方向在t处的颜色值。其中t(t)表示射线由下界tl到t传播过程的累计透射比。ir(r)即为最终服装渲染结果。

27、本发明的有益效果是：

28、1、公知方法主要基于整体特征来对着装人物进行重建、渲染和学习，并未考虑到服装自身的结构和纹理先验，当输入服装缺失部分信息时，会导致渲染结果产生失真、模糊和伪影等问题。本发明通过服装特征编码器，单独学习服装的拓扑和纹理先验，提取服装风格、空间和映射特征，来实现服装神经辐射场渲染，生成的结果具有逼真的拓扑结构和纹理细节，从而提高服装的渲染真实感。

29、2、公知方法主要基于着装人体实现单一视角和姿态的渲染，并未考虑虚拟服装在任意视角和姿态变换下的渲染鲁棒性和稳定性。本发明计算不同姿态空间之间的服装变换关系，输出目标空间中服装查询点的神经辐射场颜色和密度值，提高了服装在不同视角和姿态下的渲染质量。