数字孪生场景几何建模方法和装置

本发明涉及数字孪生，尤其涉及一种数字孪生场景几何建模方法和装置。

背景技术：

1、鱼菜共生工厂生产场景在虚拟空间中有效重建是数字孪生鱼菜共生工厂实现智能化、无人化水产养殖的基础之一。高质量捕获实际生产车间物理实体和场景的三维形状和外观信息，并在数字空间构建一个与之一一对应的孪生体是实现数字孪生应用虚实融合与交互的关键和难点。

2、目前，在数字孪生几何建模方面已有诸多方法。基于专业软件的建模方法过度依赖人工，存在成本高昂、效率低且模型复用和共享难的问题；基于场景扫描的测量方法依赖成熟昂贵的硬件系统，直接将扫描得到的场景高光映射为表面纹理信息，费时费力且有损于真实感；基于深度学习开展的mesh、point cloud，voxel、volume等离散表示的场景显式建模方法，对表面缺乏纹理特征的物体较难快速实现良好的重建效果，存在精细化不足且易产生重叠等伪影，极大地限制了高分辨率场景的应用。

3、为了解决对场景的表达会精细化不足的问题，使用隐式建模方法。基于隐式神经表示的建模方法使用一个函数描述场景几何，在表达大分辨率场景的时候它的参数量相对于显示表示较少，其隐式表示函数是连续化表达，精细化程度较场景显式建模方法更好。

4、鱼菜共生生产场景中存在大量位置不同的多尺度基础设施(例如，鱼缸、蔬菜栽培架)以及动态作业的装备、鱼群，这一特点要求几何建模方法可复用和可交互编辑。然而，相对显示表示，隐式建模方法很难让用户交互式地编辑或者修改场景对象，难以实现模型复用和对动态场景的建模。

5、此外，带有精确相机位姿的密集输入视图是基于隐式神经表示几何建模方法的关键。目前，仅仅基于rgb图像进行位姿估计具有一定局限性，尤其是在鱼菜共生工厂这种存在复杂场景、低纹理区域或遮挡等情况，仅基于rgb图像的特征匹配变得困难，且在光照变化、动态物体和噪音等干扰下，鲁棒性差。

6、综上，现有技术存在费时费力且通用性差的问题。

技术实现思路

1、本发明提供一种数字孪生场景几何建模方法和装置，用以解决现有技术中费时费力且通用性差的缺陷，实现效率高、通用性好的场景几何建模。

2、本发明提供一种数字孪生场景几何建模方法，包括如下步骤。

3、基于采集设备获取目标场景多个视角的rgb-d图像；其中，所述rgb-d图像包括rgb图像和深度图像；

4、根据所述rgb-d图像以及相机参数对所述目标场景进行重建，得到所述目标场景的粗糙三角网格表示；根据所述粗糙三角网格表示渲染生成任意视角的合成图像；其中，所述相机参数是利用所述rgb-d图像估计得到的；

5、根据所述合成图像训练得到粗糙神经辐射场网络，利用所述rgb图像对所述粗糙神经辐射场网络进行微调，得到目标数字孪生场景。

6、根据本发明提供的一种数字孪生场景几何建模方法，所述根据所述rgb-d图像以及相机参数对所述目标场景进行重建，得到所述目标场景的粗糙三角网格表示，具体包括：

7、根据所述rgb-d图像得到深度值可信的可信深度图；

8、融合所述rgb图像和所述可信深度图的互补特征，得到融合特征，将所述融合特征输入至位姿估计网络，得到相机参数；

9、根据所述相机参数和所述rgb-d图像，得到每个视角的点云，进而得到所述目标场景的场景点云；

10、利用重建算法将所述场景点云转化为粗糙三角网格表示。

11、根据本发明提供的一种数字孪生场景几何建模方法，所述根据所述rgb-d图像得到深度值可信的可信深度图，具体包括：

12、在当前深度图像满足预设条件的情况下，将当前rgb-d图像包括的深度图像作为可信深度图；

13、在当前深度图像不满足所述预设条件的情况下，基于深度估计网络根据所述rgb图像生成可信深度图；

14、其中，所述预设条件包括当前rgb-d图像中的每个像素点对应的深度值均在预设深度阈值范围内。

15、根据本发明提供的一种数字孪生场景几何建模方法，所述融合所述rgb图像和所述可信深度图的互补特征，得到融合特征，具体包括：

16、基于卷积神经网络将所述rgb图像的每个rgb值编码为目标维度的向量，进而将所述rgb图像映射至编码空间，得到颜色特征；

17、根据所述采集设备的内参将所述可信深度图转换为空间点云，基于深度神经网络对所述空间点云进行特征提取，得到几何特征；

18、在像素级别将所述颜色特征和所述几何特征进行连接，得到像素特征；

19、将每个所述像素特征基于多层感知机进行非线性变换，并将非线性变化的结果基于平均池化进行维度处理，得到全局特征；

20、将所述全局特征与所述像素特征连接，得到融合特征。

21、根据本发明提供的一种数字孪生场景几何建模方法，所述根据所述粗糙三角网格表示渲染生成任意视角的合成图像，具体包括：

22、对所述rgb-d图像的视角进行插值，得到大量采样视角，基于所述采样视角从所述粗糙三角网格表示中渲染生成合成图像。

23、根据本发明提供的一种数字孪生场景几何建模方法，所述根据所述合成图像训练得到粗糙神经辐射场网络，利用所述rgb图像对所述粗糙神经辐射场网络进行微调，得到目标数字孪生场景，具体包括：

24、根据所述场景点云或所述粗糙三角网格表示初始化场景的体素表示，并使用稀疏八叉树结构组织所述体素表示；

25、根据所述体素表示利用光线追踪理论得到射线，在所述射线上进行采样，得到采样点；

26、根据所述采样点，基于深度神经网络根据所述合成图像对场景的几何形状和外观进行建模，得到粗糙神经辐射场网络；

27、基于所述粗糙神经辐射场网络从所述合成图像对应的采样视角生成目标图像；

28、将所述目标图像和所述rgb图像输入至预先构建的鉴别器中，从所述rgb图像和所述目标图像中随机采样预设大小的补丁，将所述补丁的差异最小化作为目标对所述粗糙神经辐射场网络进行微调，得到目标数字孪生场景；

29、其中，所述鉴别器是基于生成对抗网络构建得到的。

30、根据本发明提供的一种数字孪生场景几何建模方法，所述根据所述采样点，基于深度神经网络根据所述合成图像对场景的几何形状和外观进行建模，得到粗糙神经辐射场网络，具体包括：

31、基于多层感知机构建基础神经辐射场网络；

32、对于每个采样点，基于所述采样点及其对应的二维射线的方向角，对存储在对应体素表示顶点的可学习特征进行三线性插值，得到特征表示；对所述特征表示使用多分辨率哈希编码算法进行位置编码，得到第一位置编码结果，对所述方向角使用球谐函数编码算法进行位置编码，得到第二位置编码结果；

33、将所述第一位置编码结果和所述第二位置编码结果输入至所述基础神经辐射场网络进行预测，得到体密度和颜色值；

34、根据所述体密度和所述颜色值，利用预先设置的rgb损失函数对所述基础神经辐射场网络进行优化训练，最终得到粗糙神经辐射场网络。

35、本发明还提供一种数字孪生场景几何建模装置，包括如下单元。

36、图像采集单元，用于基于采集设备获取目标场景多个视角的rgb-d图像；其中，所述rgb-d图像包括rgb图像和深度图像；

37、显式表示单元，用于根据所述rgb-d图像以及相机参数对所述目标场景进行重建，得到所述目标场景的粗糙三角网格表示；根据所述粗糙三角网格表示渲染生成任意视角的合成图像；其中，所述相机参数是利用所述rgb-d图像估计得到的；

38、隐式调整单元，用于根据所述合成图像训练得到粗糙神经辐射场网络，利用所述rgb图像对所述粗糙神经辐射场网络进行微调，得到目标数字孪生场景。

39、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数字孪生场景几何建模方法。

40、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数字孪生场景几何建模方法。

41、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数字孪生场景几何建模方法。

42、本发明提供的数字孪生场景几何建模方法和装置，通过基于采集设备获取目标场景多个视角的rgb-d图像；其中，所述rgb-d图像包括rgb图像和深度图像；根据所述rgb-d图像以及相机参数对所述目标场景进行重建，得到所述目标场景的粗糙三角网格表示；根据所述粗糙三角网格表示渲染生成任意视角的合成图像；其中，所述相机参数是利用所述rgb-d图像估计得到的；根据所述合成图像训练得到粗糙神经辐射场网络，利用所述rgb图像对所述粗糙神经辐射场网络进行微调，得到目标数字孪生场景。本发明通过捕获的稀疏rgb-d图像进行粗糙网格的显式建模，进一步进行神经辐射场网络的隐式建模，结合了显式表示方法易于局部编辑的优点和隐式表示方法对真实感绘制效果的优点，支持对任意场景中任意物体进行快速几何建模。