用于视觉定位的方法、装置、设备、介质以及程序产品

本公开涉及无人系统定位导航，尤其涉及一种用于视觉定位的方法、装置、电子设备、非暂态计算机可读存储介质以及计算机程序产品。

背景技术：

1、随着无人机、机器人以及自动驾驶汽车等技术的不断发展，利用视觉信息进行定位导航的研究和应用愈发广泛和成熟。其中，比较具有代表性的技术包括同步定位与建图(simultaneous localization and mapping，slam)。现有技术的视觉slam方法主要使用图像中角点、边缘点等视觉几何特征。但是，低级的视觉几何特征容易受到光照、视角变化等因素影响，导致slam定位精度下降甚至定位失败，从而限制其在实际场景中的广泛应用。

2、为解决这一问题，相关领域技术人员研究发现，视觉语义特征(如物体类别等)较视觉几何特征更为高级，在光照、视角、时间变化等挑战性场景下具有更好的鲁棒性。随着深度学习领域的蓬勃发展，视觉语义特征获取方式众多且对应检测精度越来越高，为语义增强视觉定位技术的进步提供了巨大的推动力。根据语义特征类型，常用的视觉语义获取方式可分为物体检测网络、语义分割网络、实例分割网络和全景分割网络等。语义特征在视觉定位技术中的应用方式包括构建特征描述子、剔除动态物体、语义地图匹配定位等。

3、但是，目前现有技术的语义增强视觉定位方法仅适用于特定的视觉语义获取网络。

技术实现思路

1、本公开提供一种用于视觉定位的方法、装置、电子设备、非暂态计算机可读存储介质以及计算机程序产品，用以解决现有技术中的缺陷。

2、本公开提供一种用于视觉定位的方法，包括：

3、响应于获取到载体采集的在当前时刻关于自身周围环境的图像，基于预设特征提取规则对所述图像进行特征提取，得到关于所述图像的视觉几何特征以及视觉语义特征；其中，所述图像包括由所述载体的机载相机拍摄的图像，或者由所述载体的机载摄像头采集的视频中的图像帧；所述图像中包括位于所述周围环境中的地标的影像信息；所述视觉语义特征具有统一类别标签集；

4、基于所述视觉几何特征以及视觉语义特征，利用视觉语义随机模型标准化规则，确定视觉几何特征点对以及对应所述视觉几何特征点对的标准化随机模型；

5、基于所述视觉几何特征点对、对应所述视觉几何特征点对的标准化随机模型以及所述视觉语义特征，利用视觉语义函数模型标准化规则，构建语义增强的位姿约束目标函数，确定所述载体和/或所述地标在当前时刻的最终位姿。

6、本公开还提供一种用于视觉定位的装置，包括：

7、特征提取模块，被配置为：响应于获取到载体采集的在当前时刻关于自身周围环境的图像，基于预设特征提取规则对所述图像进行特征提取，得到关于所述图像的视觉几何特征以及视觉语义特征；其中，所述图像包括由所述载体的机载相机拍摄的图像，或者由所述载体的机载摄像头采集的视频中的图像帧；所述图像中包括位于所述周围环境中的地标的影像信息；所述视觉语义特征具有统一类别标签集；

8、匹配跟踪模块，被配置为：基于所述视觉几何特征以及视觉语义特征，利用视觉语义随机模型标准化规则，确定视觉几何特征点对以及对应所述视觉几何特征点对的标准化随机模型；

9、增强定位模块，被配置为：基于所述视觉几何特征点对、对应所述视觉几何特征点对的标准化随机模型以及所述视觉语义特征，利用视觉语义函数模型标准化规则，构建语义增强的位姿约束目标函数，确定所述载体和/或所述地标在当前时刻的最终位姿。

10、本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于视觉定位的方法。

11、本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于视觉定位的方法。

12、本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用于视觉定位的方法。

13、如上所述，本公开实施例提供的用于视觉定位的方法，一方面，将视觉语义获取网络视作一种新型pnt传感器，并构建通用的视觉语义随机模型标准化规则和视觉语义函数模型标准化规则，可兼容不同类型的视觉语义获取网络，从而提高视觉定位方法的精度和鲁棒性。另一方面，将不同类型的视觉语义特征映射至组件化pnt架构下的标准化随机模型和标准化函数模型，实现不同视觉语义获取网络的盲插即用和开放扩展，可无缝集成于组件化pnt系统，进而完成与其他传感器的融合定位。

技术特征：

1.一种用于视觉定位的方法，包括：

2.根据权利要求1所述的方法，其特征在于，基于预设特征提取规则对所述图像进行特征提取，得到关于所述图像的视觉几何特征以及视觉语义特征，包括：

3.根据权利要求2所述的方法，其特征在于，根据当前采用的所述预设视觉语义特征提取网络的类别标签集，确定匹配的标签集转化规则，包括：

4.根据权利要求1所述的方法，其特征在于，基于所述视觉几何特征以及视觉语义特征，利用视觉语义随机模型标准化规则，确定视觉几何特征点对以及对应所述视觉几何特征点对的标准化随机模型，包括：

5.根据权利要求4所述的方法，其特征在于，利用所述先验动态概率，确定所述视觉几何特征的后验动态概率，包括：

6.根据权利要求1所述的方法，其特征在于，基于所述视觉几何特征点对、对应所述视觉几何特征点对的标准化随机模型以及所述视觉语义特征，利用视觉语义函数模型标准化规则，构建语义增强的位姿约束目标函数，确定所述载体和/或所述地标在当前时刻的最终位姿，包括：

7.一种用于视觉定位的装置，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述用于视觉定位的方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述用于视觉定位的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述用于视觉定位的方法。

技术总结本公开提供一种用于视觉定位的方法、装置、设备、介质以及程序产品；其中，方法包括：响应于获取到载体采集的在当前时刻关于自身周围环境的图像，基于预设特征提取规则对图像进行特征提取，得到关于图像的视觉几何特征以及视觉语义特征；基于视觉几何特征以及视觉语义特征，利用视觉语义随机模型标准化规则，确定视觉几何特征点对以及对应视觉几何特征点对的标准化随机模型；基于视觉几何特征点对、对应视觉几何特征点对的标准化随机模型以及视觉语义特征，利用视觉语义函数模型标准化规则，确定载体和/或地标在当前时刻的最终位姿。利用本公开方法，可基于组件化PNT架构兼容不同类型的视觉语义获取网络，提高视觉定位的精度和鲁棒性。技术研发人员：耿江辉,赵鑫冉,王牌受保护的技术使用者：武汉大学技术研发日：技术公布日：2024/9/12