一种基于改进的VolT的室内三维重建方法及装置与流程

本发明涉及三维重建，尤其是涉及一种基于改进的volt的室内三维重建方法及装置。

背景技术：

1、三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视图的信息不完全,因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定,即计算出摄像机的图象坐标系与世界坐标系的关系，然后利用多个二维图象中的信息重建出三维信息。

2、物体三维重建是计算机辅助几何设计(cagd)、计算机图形学(cg)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。在计算机内生成物体三维表示主要有两类方法。一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型,另一类是通过一定的手段获取真实物体的几何形状。前者实现技术已经十分成熟,现有若干软件支持，比如：3dmax、maya、autocad、ug等等，它们一般使用具有数学表达式的曲线曲面表示几何形状。后者一般称为三维重建过程，三维重建是指利用二维投影恢复物体三维信息(形状等)的数学过程和计算机技术，包括数据获取、预处理、点云拼接和特征分析等步骤。

3、三维重建是一种从摄像机拍摄的一组多视点图像中重建出三维模型的方法，是几十年来计算机视觉领域广泛研究的核心问题。传统方法使用人工设计的相似性度量来计算密集对应和恢复3d点。虽然这些方法在图像信息较强的场景下取得了很好的结果，但他们都有共同的局限性。例如，当场景是低纹理时，使得密集匹配难以实现，从而导致不完全重建。

技术实现思路

1、本发明的目的是克服上述现有技术存在的缺陷而提供一种基于改进的volt的室内三维重建方法及装置。

2、本发明的目的可以通过以下技术方案来实现：

3、作为本发明的第一方面，提供一种基于改进的volt的室内三维重建方法，其特征在于，所述方法提取2d空间中的图像特征，并输入改进的volt模型中；

4、所述改进的volt模型将提取后的2d特征反投影到3d空间中，并融合到大、中、小三个不同尺度的特征体中；分别对三个不同尺度的特征体分别进行预测，并采用稠密窗口多头注意力对预测结果进行聚合，得到三维重建结果。

5、作为优选技术方案，所述提取2d空间中的图像特征具体为：给定场景的图像序列和相应的相机内参和外参，在r、g、b三个通道的尺度上，使用unet图像分割网格提取2d空间中的图像特征。

6、作为优选技术方案，对于中尺度特征体，3d volume transforme预测输出一个占用体，用于将更精细层的volume稠密化。

7、作为优选技术方案，对于小尺度特征体，3d volume transforme预测输出tsdf体。

8、作为优选技术方案，所述volt模型从tsdf体中使用marching cubes提取预测的mesh网格。

9、作为优选技术方案，所述volt模型使用指数移动加权平均的方式融合不同视角投影得到的3d特征。

10、作为优选技术方案，所述方法在计算所述指数移动加权权重时加入了每个视角的标准差，并且在最终的融合体中加入总方差。

11、作为优选技术方案，所述的稠密窗口多头注意力计算volt模型各3d预测体中每一个体素和任何其他体素之间的注意力。

12、作为本发明的第二方面，提供一种基于改进的volt的室内三维重建装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上任一所述的基于改进的volt的室内三维重建方法。

13、作为本发明的第三方面，提供一种存储介质，其上存储有程序，所述程序被执行时实现如上任一所述的基于改进的volt的室内三维重建方法。

14、与现有技术相比，本发明具有以下有益效果：

15、1)本发明聚焦于多视图三维重建方法，在主流的volt(3d volume transformer)算法上进行改进，得到了更高的重建精度。在先前工作的基础上，将代价体正则化网络进行了替换，将transformer模型与2d卷积进行结合，构成一个新型transformer结构。经过实验证明，该模型能充分利用提取的特征来得到较好的重建表现，并且从指标上来看，也优于目前主流的volt网络。

16、2)本发明将2d空间的图像特征分别融合到大、中、小三个不同尺度的特征体中，并采用稠密窗口多头注意力计算三者间的注意力，能够提取到更加丰富的三维图像信息。

技术特征：

1.一种基于改进的volt的室内三维重建方法，其特征在于，所述方法提取2d空间中的图像特征，并输入改进的volt模型中；

2.根据权利要求1所述的一种基于改进的volt的室内三维重建方法，其特征在于，所述提取2d空间中的图像特征具体为：给定场景的图像序列和相应的相机内参和外参，在r、g、b三个通道的尺度上，使用unet图像分割网格提取2d空间中的图像特征。

3.根据权利要求1所述的一种基于改进的volt的室内三维重建方法，其特征在于，对于中尺度特征体，3d volume transforme预测输出一个占用体，用于将更精细层的volume稠密化。

4.根据权利要求1所述的一种基于改进的volt的室内三维重建方法，其特征在于，对于小尺度特征体，3d volume transforme预测输出tsdf体。

5.根据权利要求4所述的一种基于改进的volt的室内三维重建方法，其特征在于，所述volt模型从tsdf体中使用marching cubes提取预测的mesh网格。

6.根据权利要求1所述的一种基于改进的volt的室内三维重建方法，其特征在于，所述volt模型使用指数移动加权平均的方式融合不同视角投影得到的3d特征。

7.根据权利要求6所述的一种基于改进的volt的室内三维重建方法，其特征在于，所述方法在计算所述指数移动加权权重时加入了每个视角的标准差，并且在最终的融合体中加入总方差。

8.根据权利要求1所述的一种基于改进的volt的室内三维重建方法，其特征在于，所述的稠密窗口多头注意力计算volt模型各3d预测体中每一个体素和任何其他体素之间的注意力。

9.一种基于改进的volt的室内三维重建装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的基于改进的volt的室内三维重建方法。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的基于改进的volt的室内三维重建方法。

技术总结本发明涉及一种基于改进的VolT的室内三维重建方法及装置，所述方法提取2D空间中的图像特征，并输入改进的VolT模型中；所述改进的VolT模型将提取后的2D特征反投影到3D空间中，并融合到大、中、小三个不同尺度的特征体中；分别对三个不同尺度的特征体分别进行预测，并采用稠密窗口多头注意力对预测结果进行聚合，得到三维重建结果。与现有技术相比，本发明能充分利用提取的特征来得到较好的重建表现，并且从指标上来看，也优于目前主流的VolT网络并采用稠密窗口多头注意力计算三者间的注意力，能够提取到更加丰富的三维图像信息。技术研发人员：吴强,唐昊,孙淼越受保护的技术使用者：上海幻维数码创意科技股份有限公司技术研发日：技术公布日：2024/8/5