一种融合点线及视觉标签的SLAM建图方法

本发明涉及视觉slam，尤其是涉及一种融合点线及视觉标签的slam建图方法。

背景技术：

1、为了实现对于车辆的精准定位，工程人员在车辆上会配备各种类型的传感器，如相机、3d激光雷达、惯性测量单元(inertial measurement unit,imu)等。同时在slam(simultaneous localization and mapping)技术方案上也尝试了不同方法，如激光slam、视觉slam，融合imu的视觉或激光slam方法等。目前大多数研究和工程项目，在兼顾成本的基础上大多选择视觉slam方案，然而在一些低纹理且重复性结构强的场景(隧道、地下停车场)下，传统的特征点方法在特征提取和匹配上精度和鲁棒性会有所降低：低纹理场景下，特征点稀疏使得slam算法在初始化和跟踪阶段性能不稳定使得整体不稳定；重复性场景下，基于点特征的回环检测易发生误检从而影响系统定位精度。

技术实现思路

1、本发明的目的是为了针对目前视觉slam在低纹理重复性场景下的低鲁棒性问题，提供一种融合点线及视觉标签的slam建图方法，引入点、线特征以及视觉标签，以实现更高精度的建图。

2、本发明的目的可以通过以下技术方案来实现：

3、一种融合点线及视觉标签的slam建图方法，包括以下步骤：

4、视觉特征提取：获取双目相机拍摄的照片并进行预处理，提取视觉特征和视觉标签，所述视觉特征包括线特征、点特征；

5、相机位姿跟踪：求解当前帧位姿、提取的视觉特征以及视觉标签的世界坐标，并通过关键帧判断策略判断当前帧是否是关键帧，将关键帧及其观测到的所有视觉标签以及生成的3d点、线特征生成新的数据关联加入到slam系统地图；根据点线重投影误差函数进行位姿优化并判断位姿有效性，基于位姿有效性选取基于恒速运动模型的位姿跟踪、基于bow匹配的位姿跟踪以及基于暴力匹配的位姿跟踪的三种跟踪方法中的一种进行位姿跟踪；

6、回环检测：包括基于点线词袋模型的回环检测以及基于视觉标签的回环检测，计算点线特征的bow向量，并识别视觉标签id，利用bow或视觉标签进行回环检测，寻找闭环候选帧，并进行回环优化；

7、地图构建与优化：创建地图点、线、关键帧、视觉标签的联合语义地图，剔除冗余关键帧、冗余视觉特征和冗余视觉标签，并结合回环检测结果进行重投影误差优化和共面约束优化，完成地图优化。

8、与现有技术相比，本发明具有以下有益效果：

9、(1)本发明引入具有光照不变性以及视角不变性的线特征，以弥补该场景下视觉特征点的稀疏与不足，增加线特征的提取与匹配，构造帧间的点、线特征重投影误差函数，求得帧间相机位姿，实现更精准的相机位姿跟踪。

10、(2)本发明利用视觉标签提供先验信息(如位置、尺度、共面信息等)，能够进一步提高图像中特征点和特征线的数量，提高精度的同时生成特征点-特征线-视觉标签-关键帧的联合语义地图，进一步利用点线-视觉标签的约束关系优化生成整体地图，以提高slam的精度和系统鲁棒性。

11、(3)本发明所引入的视觉标签其自身能够检测出id，有利于区分重复性区域。

技术特征：

1.一种融合点线及视觉标签的slam建图方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述提取视觉特征和视觉标签具体为：基于fast角点检测算法以及brief特征描述子提取图像的orb特征点，作为点特征；基于lsd算法提取特征线，并选用lbd进行其描述子的生成，得到线特征；对图像依次进行图像预处理、轮廓提取、id解码以及角点细化，提取得到视觉标签。

3.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述关键帧判断策略包括：

4.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述根据点线重投影误差函数进行位姿优化具体为：

5.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述判断位姿有效性的方法为：将前一帧生成3d地图点和3d地图线重投影到当前帧，在重投影后的位置附近预设范围内，搜索对应的匹配的2d特征点和特征线，根据计算且优化后的位姿γt，如果重投影后在当前帧中匹配成功的特征线小于设定阈值或者特征线小于设定阈值则认定当前帧的位姿无效，需重新计算位姿。

6.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述基于位姿有效性选取基于恒速运动模型的位姿跟踪、基于bow匹配的位姿跟踪以及基于暴力匹配的位姿跟踪的三种跟踪方法中的一种进行位姿跟踪具体为：

7.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述基于点线词袋模型的回环检测包括以下步骤：

8.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述基于视觉标签的回环检测具体为：每一个视觉标签具有各自独一无二的id，若当前帧观测到id为m的视觉标签，并且该标签在之前的地图构建中保存并拥有有效的位姿，但当前关键帧的共视关系集合中并未观测到该标签，则需要通过回环检测进一步判别；在地图中索引出能观测到该id的关键帧作为回环候选，计算当前帧与所有回环候选的相似性得分，进行回环检测。

9.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述剔除冗余关键帧、冗余视觉特征和冗余视觉标签具体为：

10.根据权利要求1所述的一种融合点线及视觉标签的slam建图方法，其特征在于，所述重投影误差优化包括：

技术总结本发明涉及一种融合点线及视觉标签的SLAM建图方法，包括以下步骤：获取双目相机拍摄的照片并进行预处理，提取视觉特征和视觉标签；求解当前帧位姿、提取的视觉特征以及视觉标签的世界坐标，并通过关键帧判断策略判断当前帧是否是关键帧；根据点线重投影误差函数进行位姿优化并判断位姿有效性，选取合适的跟踪方法进行位姿跟踪；计算点线特征的BOW向量，并识别视觉标签ID，利用BOW或视觉标签进行回环检测和回环优化；创建地图点、线、关键帧、视觉标签的联合语义地图，剔除冗余关键帧、视觉特征和视觉标签，并结合回环检测结果进行重投影误差优化和共面约束优化，完成地图优化。与现有技术相比，本发明具有能够增加系统鲁棒性、提高建图精度等优点。技术研发人员：董延超,李文轩受保护的技术使用者：同济大学技术研发日：技术公布日：2024/11/4