一种基于回环检测的神经隐式三维重建SLAM方法

本发明涉及图像三维重建，具体涉及一种基于回环检测的神经隐式三维重建slam方法。

背景技术：

1、现有技术中，三维重建的方法包括：第一种，基于传统的无序图像组进行三维重建。然而，由于缺少图像间的时序信息，当场景中存在外观相似的重复地点、装置、纹理时，容易使部分图像注册到错误的位置，使得三维重建后的模型变形、错位。第二种，基于点云进行三维重建，多用于rgbd传感器。然而这种方法依赖轨迹的形状和点云的质量，重建速度受点云规模影响较大；此外，若场景中存在结构化重复的区域，点云对齐容易出现歧义，会影响重建模型的精度。第三种，基于单轨迹slam信息进行三维重建。该方法仅支持单次采集的单条轨迹的信息，依赖于slam算法中对采集设备与采集轨迹的信息协方差计算。因此，该方法不支持处理多次分开采集的轨迹，也不支持对从多种设备中获得的轨迹的联合因子图进行优化。现有技术中为考虑计算量和深度损失对精度的影响。

技术实现思路

1、针对上述问题，本发明的一个目的是提供一种基于回环检测的神经隐式三维重建slam方法。减轻了计算工作量，对深度进行单独的损失计算，提高精度。

2、本发明所采用的技术方案是：一种基于回环检测的神经隐式三维重建slam方法，包括：

3、步骤s01：对场景中物体进行隐式三维重建，利用mlp多层感知机进行解码，获得特征分层，并计算所述特征分层的占用概率值；

4、步骤s02：根据所述特征分层的占用概率值计算颜色值和终止概率，并根据所述计算结果对颜色值和深度值进行渲染，获得渲染图像；

5、步骤s03：根据所述渲染图像创建共视光流矩阵，在所述共视光流矩阵中选取关键帧，计算所述关键帧的相对光流；

6、步骤s04：对所述关键帧的相对光流进行回环检测，与相对光流阈值比较，完成关键帧选取的；

7、步骤s05：将所述特征分层中位于视射线上的一点在选取的所述关键帧中进行投影，计算投影误差，进行神经隐式三维重建优化。

8、优选的，所述特征分层包括应底层、中间层和精细层。

9、优选的，步骤s01还包括利用特征网格和解码器建模场景外观。

10、优选的，步骤s03中还包括：利用所述渲染图像获得跟踪模型和三维重建模型。

11、优选的，步骤s03中，所述选取关键帧包括：通过信息增益添加新的当前帧，当所述当前帧与前一关键帧有视觉重叠时，将所述当前帧选取为关键帧。

12、优选的，步骤s03中，所述计算所述关键帧的相对光流包括：像素在相邻关键帧间的光照强度不变，根据像素在相邻关键帧间的移动距离和移动时间计算光流的速度矢量，获得关键帧的相对光流。

13、优选的，所述相对光流阈值为25。

14、优选的，步骤s03中，当关键帧的相对光流大于相对光流阈值时，，继续进行隐式三维重建；

15、当关键帧的相对光流连续小于相对光流阈值时，选取为关键帧，完成隐式三维重建。

16、优选的，步骤s05中，根据所述投影获得特征分层中所述点的投影坐标，与预测的图像坐标进行比较，计算获得投影误差，将投影误差赋予预测的图像坐标中进行优化。

17、优选的，还包括步骤s06：对所述关键帧的深度值进行损失计算，优化精确度，完成隐式三维重建；

18、所述损失计算包括对所述跟踪模型和三维重建模型的损失计算。

19、上述技术方案的有益效果：

20、(1)本发明对深度进行单独的损失计算，提高精度，解决了现有技术中没有对深度进行单独的损失计算，由于不考虑深度损失，导致每个像素值对跟踪和建图的贡献度一致的问题，使得由于传感器不同而带来不同的偏差和不确定性，当这类误差累积到一定大小时，会对整体造成不确定性影响。

21、(2)本发明对关键帧的选取和优化采用回环检测，避免了重复的计算，有效减少计算工作量。

技术特征：

1.一种基于回环检测的神经隐式三维重建slam方法，其特征在于，包括：

2.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，所述特征分层包括应底层、中间层和精细层。

3.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，步骤s01还包括利用特征网格和解码器建模场景外观。

4.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，步骤s03中还包括：利用所述渲染图像获得跟踪模型和三维重建模型。

5.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，步骤s03中，所述选取关键帧包括：通过信息增益添加新的当前帧，当所述当前帧与前一关键帧有视觉重叠时，将所述当前帧选取为关键帧。

6.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，步骤s03中，所述计算所述关键帧的相对光流包括：像素在相邻关键帧间的光照强度不变，根据像素在相邻关键帧间的移动距离和移动时间计算光流的速度矢量，获得关键帧的相对光流。

7.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，所述相对光流阈值为25。

8.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，步骤s03中，当关键帧的相对光流大于相对光流阈值时，继续进行隐式三维重建；

9.根据权利要求1所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，步骤s05中，根据所述投影获得特征分层中所述点的投影坐标，与预测的图像坐标进行比较，计算获得投影误差，将投影误差赋予预测的图像坐标中进行优化。

10.根据权利要求4所述的基于回环检测的神经隐式三维重建slam方法，其特征在于，还包括步骤s06：对所述关键帧的深度值进行损失计算，优化精确度，完成隐式三维重建；

技术总结本发明涉及图像三维重建技术领域，具体公开了一种基于回环检测的神经隐式三维重建SLAM方法，步骤S01：对场景中物体进行隐式三维重建，利用MLP多层感知机进行解码，获得特征分层，并计算特征分层的占用概率值；步骤S02：根据所述特征分层的占用概率值计算颜色值和终止概率，并根据计算结果对颜色值和深度值进行渲染，获得渲染图像；步骤S03：根据所述渲染图像创建共视光流矩阵，在共视光流矩阵中选取关键帧，计算所述关键帧的相对光流；步骤S04：对所述关键帧的相对光流进行回环检测，与相对光流阈值比较，完成关键帧选取的；步骤S05：将特征分层中位于视射线上的一点在选取的所述关键帧中进行投影，计算投影误差，进行神经隐式三维重建优化。技术研发人员：胡敏,林鹏,黄刚,单上求,王卫杰,王建华,张天天,何博受保护的技术使用者：中国人民解放军战略支援部队航天工程大学技术研发日：技术公布日：2024/9/17