一种视觉重定位方法及系统与流程

本发明涉及计算机视觉，具体涉及一种视觉重定位方法及系统。

背景技术：

1、视觉重定位是通过视觉信息计算给定查询图像在已知环境中的六自由度姿势的任务，根据场景模型的构建、环境信息的匹配以及相机位姿的解算形成许多结构体系。

2、从环境信息匹配技术的角度出发，传统的视觉重定位方法通常是基于3d（三维）结构特征的，它们依赖于二维图像位置和三维场景坐标之间的二维到三维映射关系。这类方案中映射关系通常是通过匹配局部特征获得的，并且在此基础上已经提出了许多匹配和过滤技术，这些技术能够实现高效和稳健的城市规模定位，如主动搜索算法（active search，as）。

3、近年来，有些研究者也开始将图像检索技术应用到视觉重定位，他们使用2d（二维）的数据库来表征环境信息，待查询图像的位姿恢复可以直接由最相似的检索数据库图像来近似，由于紧凑的图像全局描述子被用于匹配，图像检索方法可以扩展到非常大的环境。其中，图像的描述子可以是基于结构的，也可是利用深度神经网络学习得到；检索方法可以与基于结构的方法或相对姿势估计相结合，以预测更精确的姿势。

4、然而，在实际应用部署中，一方面，这类方法必须在线维护一个3d模型，导致对内存和计算资源的要求随着定位范围增加而增加，获得对应关系的描述子匹配步骤也是昂贵和耗时的程序；另一方面，这类方法所获得的对应关系也不是稳健的，而且随着模型的增长，离群噪声点的数量也在增加，这就要求ransac（random sample consensus，随机采样一致）算法所耗费时间增加，从而提高了定位任务所需时间成本。

技术实现思路

1、本发明的目的之一在于提供一种视觉重定位方法，以解决现有技术计算成本及时间成本较高的问题；目的之二在于提供一种视觉重定位系统。

2、为了实现上述目的，本发明采用的技术方案如下：

3、第一方面，一种视觉重定位方法，包括：

4、根据查询图像中各个2d特征点的显著性信息，选取出2d关键点；

5、利用场景坐标回归网络预测与所述2d关键点相匹配的3d场景坐标；其中，所述场景坐标回归网络在离线阶段完成对3d场景的学习，并在离线学习过程中引入几何约束策略；

6、采用基于随机采样一致性方案的pnp算法，根据所述2d关键点和对应的所述3d场景坐标进行位姿求解，得到所述查询图像的六自由度位姿。

7、第二方面，一种视觉重定位系统，应用第一方面所述方法，包括：

8、关键点选取模块，用于根据查询图像中各个2d特征点的显著性信息，选取出2d关键点；

9、场景坐标回归模块，用于搭载场景坐标回归网络，并利用所述场景坐标回归网络预测与所述2d关键点相匹配的3d场景坐标；还用于所述场景坐标回归网络对3d场景的离线学习，其中，所述离线学习过程中引入有几何约束策略；

10、相机位姿求解模块，用于基于随机采样一致性方案的pnp算法，根据所述2d关键点和对应的所述3d场景坐标进行位姿求解，输出所述查询图像的六自由度位姿。

11、本发明的有益效果：

12、本发明提供了一种视觉重定位方法及系统；所述方法利用显著性信息筛选出查询图像的2d关键点，从而减少了后续计算中无用的图像区域的2d特征点的参与，充当了外点过滤器的作用，利用在离线学习过程中引入了几何约束策略的场景坐标回归网络预测出对应的3d场景坐标，有效避免传统描述子匹配过程中存在的误匹配的现象，也不需要投入海量的匹配关系建立位姿假设池，最终根据2d关键点和对应的3d场景坐标，基于pnp算法进行位姿求解得到查询图像的六自由度位姿。相较于现有技术，本发明可以降低定位任务中离群点的数量并使网络能够从图像中一些有价值的区域学习，获得的匹配对和计算量都大幅减少，节约了计算资源，重定位结果精度高。

技术特征：

1.一种视觉重定位方法，其特征在于，包括：

2.根据权利要求1所述的一种视觉重定位方法，其特征在于，所述2d关键点的选取包括：

3.根据权利要求2所述的一种视觉重定位方法，其特征在于，所述显著性模型的训练过程包括：

4.根据权利要求2所述的一种视觉重定位方法，其特征在于，所述场景坐标回归网络的学习过程包括：

5.根据权利要求4所述的一种视觉重定位方法，其特征在于，所述损失函数包括分类损失函数、回归损失函数及几何约束损失函数的对应权重乘积；其中，所述回归损失函数和/或所述几何约束损失函数的对应权重大于所述分类损失函数的对应权重。

6.根据权利要求5所述的一种视觉重定位方法，其特征在于，包括以下至少之一：

7.根据权利要求5所述的一种视觉重定位方法，其特征在于，所述场景坐标回归网络的学习过程中，被标注有所述真实3d场景坐标的所述像素点为利用所述显著性模型及所述非极大值抑制法选取出的所述2d关键点。

8.根据权利要求7所述的一种视觉重定位方法，其特征在于，所述几何约束损失函数中引入了相机投影方程，其公式如下：

9.根据权利要求4-8任一项所述的一种重定位方法，其特征在于，所述场景坐标回归网络包括基础回归网络、分类网络和条件参数产生网络；其中，

10.一种视觉重定位系统，应用权利要求1-9任一项所述方法，其特征在于，包括：

技术总结本发明公开了一种视觉重定位方法及系统，涉及计算机视觉领域。其中，所述方法包括：根据查询图像中各个2D特征点的显著性信息，选取出2D关键点；利用场景坐标回归网络预测与2D关键点相匹配的3D场景坐标；其中，场景坐标回归网络在离线阶段完成对3D场景的学习，并在离线学习过程中引入几何约束策略；采用基于随机采样一致性方案的PnP算法，根据2D关键点和对应的3D场景坐标进行位姿求解，得到查询图像的六自由度位姿。相较于现有技术，本发明可以降低定位任务中离群点的数量并使网络能够从图像中一些有价值的区域学习，获得的匹配对和计算量都大幅减少，节约了计算资源，重定位结果精度高。技术研发人员：李志杰,任祥云,王科,康轶非,罗胜杰,赵国良,陈凯受保护的技术使用者：重庆长安汽车股份有限公司技术研发日：技术公布日：2024/9/2