一种激光与相机融合的地图构建方法与流程

1.本发明涉及计算机视觉和机器人智能驾驶技术领域，更具体地说，它涉及一种激光与相机融合的地图构建方法。
技术背景
2.当进入未知环境时，定位和导航是机器人环境感知任务的主要挑战。而这类问题的研究中，地图精确建模是其中的重点之一。由于每一种传感器都具有局限性，使用单一的传感器不能获得详细的环境信息。所以，需要对多传感器融合建图进行研究。
3.在实际的机器人应用场景中，不可避免地会存在动态物体，大大影响建图的精度。同时，为了让机器人完成更复杂的任务，机器人对场景的理解能力受到了研究者的广泛关注。语义地图能够很好的表示出机器人到的地方是什么，机器人“看”到的东西是什么，识别显示出来的一块块的点云到底是什么。动态环境下的语义地图构建对移动机器人的环境理解和后续的路径规划有着重要作用。
4.现有技术中关于地图精确建模的方法大多围绕单一传感器和两种传感器融合，专利cn201911242680.7公开了一种三维激光建图方法及系统、专利cn202110318776.8公开了一种基于场景辨识的多机器人分布式协作视觉建图方法、专利cn201810869146.8公开了一种基于激光雷达与gps的拓扑地图创建方法及装置、专利cn202110469215.8公开了一种基于超声波雷达与激光雷达的建图方法、装置及系统等，这类方法存在以下两个问题：1、受环境影响大：容易天气以及动态物体影响2、特征点对不匹配，影响地图匹配精度。


技术实现要素：

5.为解决上述技术问题，本发明提供一种激光与相机融合的地图构建方法，采用视觉与激光传感器获取环境信息，然后基于语义分割模型来对二维场景图像进行语义识别，通过融合数据集的语义图像和原始图像，消除原始图像中的运动对象和动态特征点的存在。进而融合识别的语义信息和三维点云，经过特征点的提取和匹配后，消除不匹配的特征点对进行地图优化。三维语义地图能够很好的表示出移动机器人所在的场景，识别出场景中的建筑物，行人，车辆等，对移动机器人的环境理解和后续的路径规划有着重要作用，并能有效解决复杂动态环境对同时定位与建图技术的困扰。
6.本发明的上述技术目的是通过以下技术方案得以实现的：
7.激光与相机融合的地图构建方法，包括以下步骤：
8.步骤1：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据p和固定于车身前方相机采集到的车辆周围环境的图片数据i；
9.步骤2：根据激光点云数据p计算获取位姿e；
10.步骤3：同时，基于获得的点云数据p进行滤波，获取无遮挡、分布规则的点云数据p’；
11.步骤4：对摄像机捕获的图像i进行语义分割，去除原始图像中的运动对象和动态
特征点，得到具有语义信息的图像i’；
12.步骤5：将点云p’和来自摄像机的语义分割结果i’进行融合，生成具有语义信息的单帧点云c；
13.步骤6：经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云c’；
14.步骤7：根据小车姿态e将点云c’与现有地图m进行叠加，获得实时更新的地图m’。
15.最终生成由激光雷达与相机融合的语义地图，为后续无人车的定位导航避障提供了方便。
16.作为一种优选方案，步骤3中使用点云滤波方法对输入的点云进行预处理，获取无遮挡、分布规则的点云数据p’，具体包括以下步骤：
17.步骤3.1：去除离群点(由遮挡问题造成)：对查询点的邻域进行统计分析，计算它到近邻点的距离。距离分布特性符合高斯分布n(u,σ2)，u和σ2决定一个标准范围。距离在标准范围之外的点为离群点，从数据中去除；
18.步骤3.2：简化海量点云：构造m
×
n
×
l的三维体素栅格，将点云数据填充至对应的小体素栅格，用每个体素内的所有点的重心替代该体素的其他点，减少数据量；
19.步骤3.3：处理点云分布不规则：指定坐标范围，剔除远处的、稀疏的部分，保留密集的、包含绝大部分特征的点云。
20.作为一种优选方案，步骤4中对摄像机捕获的图像i进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像i’，具体包括以下步骤：
21.步骤4.1：通过训练网络，生成能够准确识别行人和车辆这类动态对象的语义分割模型；
22.步骤4.2：通过网络生成的语义分割模型，对摄像机捕获的图像i进行语义分割，获得具有语义信息的图像i1；
23.步骤4.3：为具有语义信息的点云图像中的动态对象添加掩膜，对语义掩膜图像和原始图像对应的每个像素值进行二进制与运算，得到处理后的动态物体剔除图像i’。
24.作为一种优选方案，步骤6经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云c’，具体包括以下步骤：
25.步骤6.1：设定最大迭代次数max，每次迭代随机抽取y个特征点对，用于后续计算。同时，为每次迭代提取的y个特征点对计算最佳距离与次最佳距离的比值和：
[0026][0027]
其中，x
best
为最佳距离，x
second
为次最佳距离；
[0028]
步骤6.2：将最优特征点对和次优特征点对分别放置在最后两次迭代中；
[0029]
步骤6.3：动态调整迭代次数。在保证迭代次数有序减少的同时，下一轮计算的特征点对会更好，得到的模型会更准确。
[0030]
作为一种优选方案，步骤6.3通过动态调整迭代次数来减少计算时间，具体包括以下步骤：
[0031]
步骤6.3.1：引入统计量a，a＝(该模型下检测为局部点的特征点对的数量/整体特征点对的数量)2，将统计阈值设置为th。
[0032]
步骤6.3.2：当统计a小于th时，引入公式(1)：
[0033][0034]
当统计a大于th时，引入公式(2)：
[0035]
nnum＝log((1
‑
a
n
)3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0036]
步骤6.3.3：nnum≥0或num≤nnum*max迭代次数不会改变，迭代仍按顺序进行。相反，最大迭代次数更新为公式(3)：
[0037][0038]
其中，num＝log(1
‑
p)，p为学习率，如果当前迭代的分数超过阈值，或者如果它已经到达最终迭代，则选择具有最高分数的模型来消除不匹配。
[0039]
优选地，步骤6.1中的特征点个数y取10，步骤6.3.1中的统计阈值th取0.8，步骤6.3.3中的学习率p为取0.01。
[0040]
综上所述，本发明具有以下有益效果：
[0041]
(1)本发明提供的激光与相机融合的地图构建方法能够提供更加完整准确的环境信息，且对于天气变化影响不大，适用于室内室外多种场所。
[0042]
(2)本发明提供的激光与相机融合的地图构建方法能够消除动态环境对地图构建的影响，提高地图精度，为后续的定位导航循迹提供方便。
附图说明
[0043]
图1是本发明激光与相机融合的地图构建方法的总体框架图。
[0044]
图2是本发明激光与相机融合的地图构建方法中消除特征点之间不匹配的流程示意图。
具体实施方式
[0045]
下面结合附图对本发明作进一步的详细说明：
[0046]
激光与相机融合的地图构建方法，包括以下步骤：
[0047]
步骤1：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据p和固定于车身前方相机采集到的车辆周围环境的图片数据i。
[0048]
步骤2：根据激光点云数据计算获取姿态e。
[0049]
步骤3：使用点云滤波方法对激光雷达采集的点云进行预处理，获取合适的点云数据p’。首先对查询点的邻域进行统计分析，计算它到近邻点的距离。距离分布特性符合高斯分布n(u,σ2)，u和σ2决定一个标准范围。距离在标准范围之外的点为离群点，从数据中去除；其次构造m
×
n
×
l的三维体素栅格，将点云数据填充至对应的小体素栅格，用每个体素内的所有点的重心替代该体素的其他点，减少数据量；指定坐标范围，剔除远处的、稀疏的部分，保留密集的、包含绝大部分特征的点云，这里设置为从最高点向下2米去除。
[0050]
步骤4：使用语义分割方法对摄像机捕获的图像i进行语义分割，去除原始图像中的运动对象和动态特征点。首先训练网络，生成能够准确识别行人和车辆这类动态对象的语义分割模型，输入摄像机获取的图像，获得具有语义信息的图像i1；然后为具有语义信息
的图像中的动态对象添加掩膜；最后对语义掩膜图像和原始图像对应的每个像素值进行二进制与运算，得到处理后的动态物体剔除图像i’。
[0051]
步骤5：将点云p’和来自摄像机的语义分割结果i’进行融合，生成具有语义信息的单帧点云c。视觉语义分割完成之后需要和激光点云进行融合，其中最主要的两个步骤为空间匹配和时间匹配。在实际操作中需要进行相机内参的标定，在标定过程中使用10
×
7的黑白格通过程序自动获取大约40组9
×
6的交叉点进行计算得出相机内参。在通过相机内参来进行相机与激光雷达的外参联合标定。在联合标定的时候通过人工标注图像和点云图中一一对应的9组数据进行计算即可得到相机和激光雷达的联合标定参数。
[0052]
步骤6：消除不匹配的特征点对。如图2所示，首先设定最大迭代次数max，每次迭代随机抽取10个特征点对，用于后续计算。同时，为每次迭代提取的10个特征点对计算最佳距离与次最佳距离的比值和，然后将最优特征点对和次优特征点对分别放置在最后两次迭代中，最后动态调整迭代次数。判断统计量a与阈值的大小，当统计量a小于设定值0.8时，当统计量a大于设定值0.8时，nnum＝log((1
‑
a
10
)3)。当nnum≤0或nnum≥nnum*max时，最大迭代次数更新为如果当前迭代的分数超过阈值，或者如果它已经到达最终迭代，则选择具有最高分数的模型来消除不匹配的特征点对。
[0053]
步骤7：根据小车姿态e将点云c’与现有地图m进行叠加，生成实时更新的地图m’。
[0054]
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。