基于3D高斯场景的视觉重定位方法、系统及存储介质与流程

本发明涉及视觉重定位，尤其涉及一种基于3d高斯场景的视觉重定位方法、系统及存储介质。

背景技术：

1、在自动驾驶、机器人导航、ar/vr等技术领域，场景重建和重定位技术提供了智能体感知环境和与环境交互的能力，具有重要意义。基于视觉信息的重定位技术由于传感器信息丰富、成本低等优势，成为计算机视觉领域的研究热点。基于图像信息的重定位算法关键在于如何根据2d图像重建高质量的3d模型，以便充分利用3d场景信息，获取准确的2d-3d匹配点。由于图像传感信息特点，传统slam方法构建3d模型比较稀疏且计算成本较大，近几年神经渲染技术和3d高斯喷溅技术的兴起提供了更加高效准确的场景重建方法。

2、神经渲染技术和3d高斯喷溅技术是近两年新兴的3d场景重建技术，已经比较成熟，具有丰富的落地价值，3d高斯喷溅相较于神经渲染更加高效，是当下计算机视觉领域的研究热门。cvpr2024论文the nerfect match：exploring nerf features for visuallocalization提供了基于神经渲染技术进行视觉重定位的思路，而如何基于3d高斯场景重建进行视觉重定位成为要解决的关键技术问题。

技术实现思路

1、本发明期望基于3d高斯喷溅技术的场景重建和图像渲染能力，获取3d场景点特征，建立2d-3d匹配点，从而实现高效精准的视觉重定位。

2、为了达到上述目的，本发明的技术方案提供了一种基于3d高斯场景的视觉重定位方法，其包括如下步骤：s1初始输入：基于3d高斯喷溅技术，由已知相机位姿的训练图像训练获得3d高斯场景；s2图像检索：在训练图像中检索与查询图像最为相似的图像，将其位姿作为查询图像的相机初始位姿；s3特征编码：基于初始位姿、查询图像和3d高斯场景，提取2d点特征和3d点特征；s4相似匹配：构建2d点特征和3d点特征的相似度匹配矩阵，根据相似得分选择2d-3d匹配点；s5位姿解算：根据步骤s4中获得的2d-3d匹配点，计算出当前匹配的位姿结果，作为下一轮迭代的初始位姿，重复步骤s3-s5得到最终相机位姿。

3、进一步地，在步骤s3中，以查询图像作为输入，使用以下视觉特征编码器中的任一种，来进行特征提取，以获得2d点特征卷积神经网络cnn、视觉transformer vit、传统视觉特征算子sift。

4、进一步地，在步骤s3中，根据相机初始位姿和相机内参模型，在3d高斯场景中得到每个像素点对应的深度，从而得到3d采样点及其入射方向其中，x表示三维坐标，θ和表示入射球面角，进而得到每个采样点对应的辐射场特征然后通过神经网络编码获得3d点特征

5、进一步地，在步骤s4中，通过dual-softma×匹配函数进行正逆向检索，来构建2d点特征fq和3d点特征fs的相似度匹配矩阵

6、进一步地，在步骤s4中，相似度匹配矩阵通过3d点投影到2d点的方式构建真值来进行监督。

7、进一步地，在步骤s5中，利用经典pnp算法，来计算位姿结果。

8、进一步地，在步骤s1中，由已知相机位姿的训练图像{ii}i训练获得3d高斯场景，3d高斯场景由三维高斯体集合{(μj，∑j，αj，cj)}j表示，其中μ、∑、α、c分别为高斯体的中心位置、表示高斯体的缩放和旋转的三维协方差矩阵、高斯体的不透明度以及表示高斯体的颜色的球谐函数。

9、进一步地，在步骤s2中，利用已有图像检索网络netvlad或densevlad来进行图像检索。

10、本发明的技术方案还提供了一种基于3d高斯场景的视觉重定位系统，其用于执行如上所述的方法，所述系统包括如下模块：初始输入模块，用于基于3d高斯喷溅技术，由已知相机位姿的训练图像训练获得3d高斯场景；图像检索模块，用于在训练图像中检索与查询图像最为相似的图像，并将其位姿作为查询图像的相机初始位姿；特征编码模块，用于基于初始位姿、查询图像和3d高斯场景，提取2d点特征和3d点特征；相似匹配模块，用于构建2d点特征和3d点特征的相似度匹配矩阵，根据相似得分选择2d-3d匹配点；位姿解算模块，用于根据由相似匹配模块获得的2d-3d匹配点，计算当前匹配的位姿结果。

11、本发明的技术方案还提供了一种包含计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现如上所述的基于3d高斯场景的视觉重定位方法。

12、本发明提供了利用3d高斯喷溅技术进行视觉重定位的方案，充分利用了3d高斯对于场景的特征表示能力，结合深度神经网络实现3d空间点特征提取，更加准确地实现2d-3d匹配。

技术特征：

1.一种基于3d高斯场景的视觉重定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，在步骤s3中，以查询图像作为输入，使用以下视觉特征编码器中的任一种，来进行特征提取，以获得2d点特征

3.根据权利要求2所述的方法，其特征在于，在步骤s3中，根据相机初始位姿和相机内参模型，在3d高斯场景中得到每个像素点对应的深度，从而得到3d采样点及其入射方向其中，x表示三维坐标，θ和表示入射球面角，进而得到每个采样点对应的辐射场特征然后通过神经网络编码获得3d点特征

4.根据权利要求3所述的方法，其特征在于，在步骤s4中，通过dual-softmax匹配函数进行正逆向检索，来构建2d点特征fq和3d点特征fs的相似度匹配矩阵

5.根据权利要求4所述的方法，其特征在于，在步骤s4中，相似度匹配矩阵通过3d点投影到2d点的方式构建真值来进行监督。

6.根据权利要求5所述的方法，其特征在于，在步骤s5中，利用经典pnp算法，来计算位姿结果。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在步骤s1中，由已知相机位姿的训练图像{ii}i训练获得3d高斯场景，3d高斯场景由三维高斯体集合{(μj，∑j，αj，cj)}j表示，其中μ、∑、α、c分别为高斯体的中心位置、表示高斯体的缩放和旋转的三维协方差矩阵、高斯体的不透明度以及表示高斯体的颜色的球谐函数。

8.根据权利要求1-6中任一项所述的方法，其特征在于，在步骤s2中，利用已有图像检索网络netvlad或densevlad来进行图像检索。

9.一种基于3d高斯场景的视觉重定位系统，其特征在于，用于执行如权利要求1-8中任一项所述的方法，所述系统包括如下模块：

10.一种包含计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，实现权利要求1-8中任一项所述的基于3d高斯场景的视觉重定位方法。

技术总结本发明公开一种基于3D高斯场景的视觉重定位方法、系统及存储介质，该方法包括：S1初始输入：基于3D高斯喷溅技术，由已知相机位姿的训练图像训练获得3D高斯场景；S2图像检索：在训练图像中检索与查询图像最为相似的图像，将其位姿作为查询图像的相机初始位姿；S3特征编码：基于初始位姿，提取2D点特征和3D点特征；S4相似匹配：构建2D点特征和3D点特征的相似度匹配矩阵，根据相似得分选择2D‑3D匹配点；S5位姿解算：根据步骤S4中获得的2D‑3D匹配点，计算出当前匹配的位姿结果，作为下一轮迭代的初始位姿，重复步骤S3一S5得到最终相机位姿。本发明充分利用了3D高斯对于场景的特征表示能力，结合深度神经网络实现3D空间点特征提取，更加准确地实现2D‑3D匹配。技术研发人员：何弢,廖文龙,王浩宇,彭湃受保护的技术使用者：酷哇科技有限公司技术研发日：技术公布日：2024/11/14