一种基于3DGS的相机位姿求解方法、系统及终端与流程

本发明涉及位姿求解，尤其涉及一种基于3dgs的相机位姿求解方法、系统及终端。

背景技术：

1、智能移动机器人、自动驾驶和增强现实等技术设备中，对应的智能设备在复杂环境中感知自身位置，即进行自定位能力是众多应用的基础。视觉定位是指利用视觉传感器获取环境信息，确定自身位置的过程。目前采用基于gnss（全球导航卫星系统，globalnavigation satellite system）的定位技术在室外场景开阔场景能达到亚米级定位，但在室内由于建筑等障碍物的遮蔽，往往难以获得可以用于定位的信号。相比之下，视觉传感器由于其结构简单，成本低廉，往往被视为各类智能设备自定位的首选传感器。

2、然而，视觉传感器无法直接获取深度信息，易受光照等环境因素影响，同时视觉里程计存在累计误差，导致采用视觉传感器定位不准确。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于3dgs的相机位姿求解方法、系统、终端及计算机可读存储介质，旨在解决现有技术中视觉传感器无法直接获取深度信息，易受光照等环境因素影响，同时视觉里程计存在累计误差，导致采用视觉传感器定位不准确的问题。

2、为实现上述目的，本发明提供一种基于3dgs的相机位姿求解方法，所述基于3dgs的相机位姿求解方法包括如下步骤：

3、获取第一预设数量的rgbd图像，根据所述第一预设数量的rgbd图像，生成真实位姿和当前场景的点云信息，根据所述点云信息生成初始3d高斯模型，根据所述真实位姿对所述初始3d高斯模型进行迭代优化，得到目标3d高斯模型；

4、获取目标rgb图像，将所述目标rgb图像输入到深度学习网络中，输出相机的初始位姿；

5、根据所述目标3d高斯模型生成不透明度图、深度图和颜色图，根据所述不透明度图、所述深度图和所述颜色图，迭代更新初始位姿，得到目标相机位姿估计。

6、可选地，所述获取第一预设数量的rgbd图像，根据所述第一预设数量的rgbd图像，生成真实位姿和当前场景的点云信息，根据所述点云信息生成初始3d高斯模型，具体包括：

7、获取第一预设数量的rgbd图像，根据视觉三维重建框架对第一预设数量的rgbd图像进行计算，得到真实位姿，并根据所述真实位姿和rgbd图像的深度信息生成当前场景的点云信息；

8、根据所述点云信息获取当前场景的均值和颜色，获取预设的协方差矩阵和不透明度，根据所述均值、所述颜色、所述协方差矩阵和所述不透明度，生成初始3d高斯模型。

9、可选地，所述根据所述真实位姿对所述初始3d高斯模型进行迭代优化，得到目标3d高斯模型，具体包括：

10、根据所述初始3d高斯模型构建训练不透明度图、训练深度图和训练颜色图，根据所述训练不透明度图、训练深度图、训练颜色图和所述真实位姿，计算高斯损失，根据所述高斯损失优化初始3d高斯模型；

11、对初始3d高斯模型进行多次迭代优化，当迭代次数达到第二预设数量时，结束迭代，并将最后一次得到的初始3d高斯模型作为目标3d高斯模型。

12、可选地，所述根据所述目标3d高斯模型生成不透明度图、深度图和颜色图，具体包括：

13、根据所述目标3d高斯模型的不透明度计算阿尔法值；

14、根据阿尔法值和所述目标3d高斯模型，采用阿尔法混合算法分别计算所述不透明度图、所述深度图和所述颜色图。

15、可选地，所述根据所述不透明度图、所述深度图和所述颜色图，迭代更新初始位姿，得到目标相机位姿估计，具体包括：

16、根据初始位姿、所述不透明度图、所述深度图和所述颜色图，计算当前损失值，根据当前损失值优化初始位姿；

17、对初始位姿进行多次迭代，当迭代次数达到第三预设数量时，结束迭代，并将最后一次迭代得到的初始位姿作为目标相机位姿估计。

18、可选地，所述根据初始位姿、所述不透明度图、所述深度图和所述颜色图，计算当前损失值，具体包括：

19、将所述不透明度图中超过预设不透明度阈值的像素作为目标像素；

20、根据所述目标像素在所述深度图和所述颜色图采样，得到目标深度图和目标颜色图，根据所述初始位姿生成查询颜色图和查询深度图；

21、根据所述目标深度图计算所述查询深度图与所述深度图的一致性损失，得到深度一致性损失，根据所述目标颜色图计算所述查询颜色图与所述颜色图的一致性损失，得到颜色一致性损失；

22、根据所述深度一致性损失和所述颜色一致性损失，生成当前损失值。

23、可选地，所述根据当前损失值优化初始位姿，具体包括：

24、根据当前损失值和当前初始位姿，求解优化梯度；

25、根据优化梯度优化当前初始位姿。

26、此外，为实现上述目的，本发明还提供一种基于3dgs的相机位姿求解系统，其中，所述基于3dgs的相机位姿求解系统包括：

27、目标3d高斯模型构建模块，用于获取第一预设数量的rgbd图像，根据所述第一预设数量的rgbd图像，生成真实位姿和当前场景的点云信息，根据所述点云信息生成初始3d高斯模型，根据所述真实位姿对所述初始3d高斯模型进行迭代优化，得到目标3d高斯模型；

28、初始位姿生成模块，用于获取目标rgb图像，将所述目标rgb图像输入到深度学习网络中，输出相机的初始位姿；

29、目标相机位姿估计生成模块，用于根据所述目标3d高斯模型生成不透明度图、深度图和颜色图，根据所述不透明度图、所述深度图和所述颜色图，迭代更新初始位姿，得到目标相机位姿估计。

30、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于3dgs的相机位姿求解程序，所述基于3dgs的相机位姿求解程序被所述处理器执行时实现如上所述的基于3dgs的相机位姿求解方法的步骤。

31、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于3dgs的相机位姿求解程序，所述基于3dgs的相机位姿求解程序被处理器执行时实现如上所述的基于3dgs的相机位姿求解方法的步骤。

32、本发明中，获取第一预设数量的rgbd图像，根据所述第一预设数量的rgbd图像，生成真实位姿和当前场景的点云信息，根据所述点云信息生成初始3d高斯模型，根据所述真实位姿对所述初始3d高斯模型进行迭代优化，得到目标3d高斯模型；获取目标rgb图像，将所述目标rgb图像输入到深度学习网络中，输出相机的初始位姿；根据所述目标3d高斯模型生成不透明度图、深度图和颜色图，根据所述不透明度图、所述深度图和所述颜色图，迭代更新初始位姿，得到目标相机位姿估计。本发明通过训练高斯模型，利用3d高斯模型对场景的几何信息实现显式建模，并通过3d高斯模型反向渲染，并优化深度学习网络输出的初始位姿，最终实现更高精度的相机位姿估计。