一种激光与相机融合的地图构建方法与流程

技术特征：
1.激光与相机融合的地图构建方法，包括以下步骤：步骤1：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据p和固定于车身前方相机采集到的车辆周围环境的图片数据i；步骤2：根据激光点云数据p计算获取位姿e；步骤3：同时，基于获得的点云数据p进行滤波，获取无遮挡、分布规则的点云数据p’；步骤4：对摄像机捕获的图像i进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像i’；步骤5：将点云p’和来自摄像机的语义分割结果i’进行融合，生成具有语义信息的单帧点云c；步骤6：经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云c’；步骤7：根据小车姿态e将点云c’与现有地图m进行叠加，获得实时更新的地图m’，最终生成由激光雷达与相机融合的语义地图，为后续无人车的定位导航避障提供了方便。2.如权利要求1所述的激光与相机融合的地图构建方法，其特征在于：步骤3中使用点云滤波方法对输入的点云进行预处理，获取无遮挡、分布规则的点云数据p’，具体包括以下步骤：步骤3.1：去除离群点(由遮挡问题造成)：对查询点的邻域进行统计分析，计算它到近邻点的距离。距离分布特性符合高斯分布n(u,σ2)，u和σ2决定一个标准范围。距离在标准范围之外的点为离群点，从数据中去除；步骤3.2：简化海量点云：构造m
×
n
×
l的三维体素栅格，将点云数据填充至对应的小体素栅格，用每个体素内的所有点的重心替代该体素的其他点，减少数据量；步骤3.3：处理点云分布不规则：指定坐标范围，剔除远处的、稀疏的部分，保留密集的、包含绝大部分特征的点云。3.如权利要求1所述的激光与相机融合的地图构建方法，其特征在于：步骤4中对摄像机捕获的图像i进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像i’，具体包括以下步骤：步骤4.1：通过训练网络，生成能够准确识别行人和车辆这类动态对象的语义分割模型；步骤4.2：通过网络生成的语义分割模型，对摄像机捕获的图像i进行语义分割，获得具有语义信息的图像i1；步骤4.3：为具有语义信息的点云图像中的动态对象添加掩膜，对语义掩膜图像和原始图像对应的每个像素值进行二进制与运算，得到处理后的动态物体剔除图像i’。4.如权利要求1所述的激光与相机融合的地图构建方法，其特征在于：步骤6经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云c’，具体包括以下步骤：步骤6.1：设定最大迭代次数max，每次迭代随机抽取y个特征点对，用于后续计算。同时，为每次迭代提取的y个特征点对计算最佳距离与次最佳距离的比值和：
其中，x
best
为最佳距离，x
second
为次最佳距离；步骤6.2：将最优特征点对和次优特征点对分别放置在最后两次迭代中；步骤6.3：动态调整迭代次数。在保证迭代次数有序减少的同时，下一轮计算的特征点对会更好，得到的模型会更准确。5.如权利要求4所述的激光与相机融合的地图构建方法，其特征在于：步骤6.3通过动态调整迭代次数来减少计算时间，具体包括以下步骤：步骤6.3.1：引入统计量a，a＝(该模型下检测为局部点的特征点对的数量/整体特征点对的数量)2，将统计阈值设置为th；步骤6.3.2：当统计a小于th时，引入公式(1)：当统计a大于th时，引入公式(2)：nnum＝log((1
‑
a
n
)3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)步骤6.3.3：nnum≥0或num≤nnum*max迭代次数不会改变，迭代仍按顺序进行。相反，最大迭代次数更新为公式(3)：其中，num＝log(1
‑
p)，p为学习率，如果当前迭代的分数超过阈值，或者如果它已经到达最终迭代，则选择具有最高分数的模型来消除不匹配。6.如权利要求1
‑
5之一所述的激光与相机融合的地图构建方法，其特征在于：步骤6.1中的特征点个数y取10，步骤6.3.1中的统计阈值th取0.8，步骤6.3.3中的学习率p为取0.01。

技术总结
激光与相机融合的地图构建方法，包括：获取固定于车身上方激光雷达采集到的车身周围环境的三维点云数据P和固定于车身前方相机采集到的车辆周围环境的图片数据I；根据激光点云数据P计算获取位姿E；基于获得的点云数据P进行滤波，获取无遮挡、分布规则的点云数据P’；对摄像机捕获的图像I进行语义分割，去除原始图像中的运动对象和动态特征点，得到具有语义信息的图像I’；将点云P’和来自摄像机的语义分割结果I’进行融合，生成具有语义信息的单帧点云C；经过特征点的提取和匹配后，消除不匹配的特征点对，得到消除不匹配对的点云C’；根据小车姿态E将点云C’与现有地图M进行叠加，获得实时更新的地图M’。。。


技术研发人员：张文安 金锦峰 付明磊 杨旭升 史秀纺 季华 陈戗 王其超
受保护的技术使用者：杭州鸿泉物联网技术股份有限公司
技术研发日：2021.08.10
技术公布日：2021/11/30