基于BIM模型深度信息的NeRF模型优化及渲染方法与流程

本发明涉及三维重建，尤其涉及一种基于bim模型深度信息的nerf模型优化及渲染方法。

背景技术：

1、近年来，随着深度学习的快速发展，神经网络在计算机图形学领域，特别是在三维空间信息的表示与重建中展现出了前所未有的潜力。神经辐射场（nerf）作为其中的重要技术之一，利用神经网络隐式地表示三维空间，能够在任意分辨率下采样，与传统的点云、体素、网格等离散表示方法相比，基于隐函数的神经表示能够更加精确地捕捉和渲染复杂的三维场景，实现了高精度的三维重建效果。基于nerf的三维场景重建技术已经是近年来一项前沿、热门的研究领域，它采用一种隐式表示存储场景模型，对遥感数据或地面视觉数据进行处理，使用深度全连接网络渲染3d模型和场景。

2、但是，在现有技术中，nerf模型的构建需要大量的高质量图像数据作为输入，对于一些复杂的场景或环境获取足够的多视角图像数据可能存在困难，而且在一些细节复杂的区域，重建质量无法达到理想水平，在某些情况下可能会产生一些失真或伪影。

3、因此，寻找一种既能够实现高精度三维场景重建，又能提高三维场景重建效率的方法，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、有鉴于此，本发明提出了一种基于bim模型深度信息的nerf模型优化及渲染方法，其能够利用bim模型的深度信息辅助nerf模型建模，增强nerf模型对场景几何信息的捕捉能力，并采用多模型积分融合的渲染策略对基于bim模型深度信息的nerf模型进行渲染，在保证渲染质量的同时,也兼顾了渲染的计算效率。

2、本发明的技术方案是这样实现的：本发明提供了一种基于bim模型深度信息的nerf模型优化及渲染方法，包括以下步骤：

3、s1、设置bim模型在世界坐标系下的位姿，并根据bim模型在世界坐标系下的位姿设置相机位姿；

4、s2、根据相机位姿生成当前位姿的相机影像，利用当前位姿的相机影像和射线采样点方法基于bim模型的深度信息进行建模，生成基于bim模型深度信息的nerf模型；

5、s3、使用多模型积分融合的渲染策略对基于bim模型深度信息的nerf模型进行渲染，生成当前相机位姿的融合影像。

6、在以上技术方案的基础上，优选的，步骤s2具体包括：

7、s21、根据相机位姿获取当前位姿的相机影像，并获取相机参数和多个bim模型的深度信息；

8、s22、使用射线采样点方法对当前位姿的相机影像进行第一次采样，得到相机影像的若干射线；其中，每条射线上设有若干采样点；

9、s23、根据当前位姿的相机影像生成标准nerf模型的网络结构，并初始化标准nerf模型的网络参数；

10、s24、根据当前位姿的相机影像、采样点和bim模型的深度信息构建联合损失函数；

11、s25、基于联合损失函数进行建模，生成基于bim模型深度信息的nerf模型。

12、在以上技术方案的基础上，优选的，步骤s24具体包括：

13、s241、根据当前位姿的相机影像和采样点，使用l2损失计算相机影像的颜色损失项；

14、s242、利用bim模型的深度信息计算相机影像的深度损失项；

15、s243、根据所述颜色损失项和深度损失项构建联合损失函数。

16、在以上技术方案的基础上，优选的，步骤s241具体包括：

17、使用标准的nerf模型对每条射线上的采样点进行颜色预测，得到预测颜色；

18、根据当前位姿的相机影像获取每条射线上采样点的真实颜色；

19、使用l2损失计算预测颜色和真实颜色之间的差异，得到颜色损失项。

20、在以上技术方案的基础上，优选的，所述颜色损失项的计算公式如下：

21、；

22、其中，表示第r条射线的颜色损失项，表示第r条射线的预测颜色，表示第r条射线的真实颜色，表示l2损失。

23、在以上技术方案的基础上，优选的，所述深度损失项的计算公式如下：

24、；

25、；

26、；

27、其中，表示第r条射线的深度损失项，k表示一条射线上采样点的数量，表示权重，i表示第i个采样点，表示第r条射线上所有采样点的标准方差，表示第r条射线上所有采样点的目标深度，表示第r条射线上所有采样点的预测标准方差，表示第r条射线上所有采样点的预测深度，表示采样点位置。

28、在以上技术方案的基础上，优选的，步骤s3具体包括：

29、s31、设置渲染相机的位姿，并获取渲染相机的参数；

30、s32、任意选取相机上的一条渲染射线，所述渲染射线在每条渲染射线上进行第二次采样，得到若干采样点；

31、s33、分别计算每个采样点在每个nerf模型的体密度和颜色值，并使用体密度的最优nerf模型选择策略进行积分体渲染；

32、s34、重复步骤s32-s33直至相机上所有渲染射线均进行积分体渲染，得到当前相机位姿的融合影像。

33、更进一步优选的，所述第二次采样包括精采样和粗采样，其中粗采样为64点粗采样，精采样为128点精采样。

34、在以上技术方案的基础上，优选的，步骤s33具体包括：

35、计算每个粗采样点在每个nerf模型中的体密度和颜色值；

36、根据分布的概率密度函数，计算每个精采样点在每个nerf模型中的体密度和颜色值；

37、比较每条渲染射线上粗采样点在nerf模型中的体密度和精采样点在nerf中的体密度，选择体密度最大的nerf模型作为体密度的最优nerf模型；

38、根据体密度的最优nerf模型的体密度和颜色值对渲染射线进行积分体渲染。

39、在以上技术方案的基础上，优选的，所述积分体渲染的公式为：

40、；

41、；

42、；

43、其中，表示体密度的最优nerf模型的颜色值，k表示一条射线上采样点的数量，表示权重，表示第i个采样点到第i+1个采样点之间的长度，表示体密度的最优nerf模型的体密度，表示第j个采样点到第j+1个采样点之间的距离，表示第0个采样点到第i个采样点之间的累计透射率。

44、本发明的nerf模型优化及渲染方法相对于现有技术具有以下有益效果：

45、通过利用bim模型的深度信息辅助nerf模型进行建模，增强nerf模型对场景几何信息的捕捉能力，并采用多模型积分融合的渲染策略对基于bim模型深度信息的nerf模型进行渲染，在保证渲染质量的同时,也兼顾了渲染的计算效率；

46、通过射线采样点方法构建了基于bim深度信息的nerf模型，在保持nerf模型灵活性的同时，利用bim深度信息提高三维场景重建的精度，最大限度地利用了bim模型提供的先验信息,提高nerf模型的收敛速度和三维场景重建效果；

47、通过利用不同bim模型提供的深度信息，可以生成多个nerf模型来表示场景，能够更全面地捕捉场景的几何细节，并基于多模型积分的渲染策略充分利用不同nerf模型在局部区域的优势,生成与实际观察场景一致的融合影像，提高了渲染质量和稳定性。