一种基于语义边缘对齐的激光雷达-相机在线自标定方法

本发明涉及自动驾驶与多传感器融合领域的一种激光雷达-相机自标定方法，特别是涉及了一种基于语义边缘对齐的激光雷达-相机在线自标定方法。

背景技术：

1、为了确保对周围环境的准确和稳定的感知，自动驾驶汽车通常配备一系列不同的传感器。相机和激光雷达是自动驾驶汽车中使用的两种主要传感器类型。两个传感器的互补特性使它们成为许多感知任务的首选组合。激光雷达传感器能够在大范围内获得空间数据，但分辨率低、没有颜色信息，而相机传感器可以获得高分辨率的rgb图像，但对光线敏感、没有距离信息。为了弥补彼此的弱点，激光雷达和相机传感器的组合已经成为移动机器人和自动驾驶汽车应用的典型和必不可少的设置。

2、作为组合的关键的先决条件，准确的外参，即估计两个传感器坐标系之间的变换矩阵，通常是第一步也是至关重要的一步。通常采用棋盘格等人工目标进行参数标定。但由于传感器在行驶过程中的老化、颠簸、碰撞等原因，这些标定参数的精度会随着时间的推移而降低。特别是在车辆上，旋转参数的大误差比平移参数的误差更常见。因此，需要一种准确、可靠的在线标定方法，通过有效融合几何信息和光学信息，在车辆行驶过程中，在线校准偏移后的标定参数。

3、现有自标定技术通常要求场景中有立柱、杆子或者大块平面等特定结构物体，或者要求存在平行车道线等先验约束，在线自标定的场景适应性不强。本方法利用一般道路场景中存在的任意形状景物的语义边缘信息，通过图像与激光中的语义边缘对齐实现自标定，大幅度提高了标定的场景鲁棒性。

技术实现思路

1、本发明的目的是为了克服现有技术中的不足，而提供一种无标定装置的基于语义边缘对齐的激光雷达与相机在线自标定的方法，解决了自动驾驶汽车行驶过程中传感器之间外参偏差的问题。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一、一种基于语义边缘对齐的激光雷达-相机在线自标定方法

4、1)对相机采集的图像数据进行语义分割处理，获得图像语义分割结果，根据语义分割结果提取获得图像语义边缘；

5、2)对激光雷达采集的点云数据进行语义分割处理，获得点云语义分割结果，根据点云语义分割结果提取获得点云语义边缘；

6、3)利用初始的外参矩阵将点云语义边缘投影到相机图像坐标系下，获得投影后的2d点云边缘；根据投影后的2d点云边缘和图像语义边缘进行外参的迭代优化，使得投影后的2d点云边缘与图像语义边缘对齐，从而获得标定后的外参矩阵。

7、所述1)中，图像语义边缘是利用边缘提取方法对图像语义分割结果进行处理后获得的。

8、所述2)中，根据点云语义分割结果提取获得点云语义边缘，具体为：

9、首先，将点云语义分割结果变换到环视视图下，得到稀疏环视图像，所述稀疏环视图像包含4个通道，分别代表点云的3d坐标和语义预测结果；接着，将稀疏环视图像填充补全成致密的图像后获得致密环视图像，接着在致密环视图像上使用边缘检测方法提取边缘后，获得点云语义边缘。

10、所述3)具体为：

11、3.1)根据当前的外参矩阵和相机的内参矩阵，将点云语义边缘投影到图像上，生成相机图像坐标系下的投影后的2d点云边缘；

12、3.2)统计投影后的2d点云边缘中每个2d点云投影点附近与其相同类别的图像语义边缘点数量并记为每个2d点云投影点的匹配数量，若每个2d点云投影点的匹配数量大于等于1，则该每个2d点云投影点记为匹配边缘点；

13、3.3)若匹配边缘点数量与投影后的2d点云边缘中的点数的比值小于预设阈值，则进行标定异常报警，否则执行3.4)；

14、3.4)根据语义类别权重和匹配数量对每个2d点云投影点进行加权求和，获得每个2d点云投影点的匹配置信度，将投影后的2d点云边缘中所有2d点云投影点的匹配置信度累加后的结果作为当前外参矩阵的匹配置信度；

15、3.5)重复3.1)-3.4)，由粗到细地进行外参搜索，将匹配置信度最高的外参矩阵作为标定后的外参矩阵。

16、所述1)中，使用神经网络对相机采集的图像数据进行语义分割处理，获得图像语义分割结果。

17、所述2)中，使用神经网络对激光雷达采集的点云数据进行语义分割处理，获得点云语义分割结果。

18、二、一种计算机设备

19、所述设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。

20、三、一种计算机可读存储介质

21、所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。

22、四、一种计算机程序产品

23、所述产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述方法的步骤。

24、与现有技术相比，本发明具有以下优点：

25、1.本发明通过充分利用激光雷达点云语义边缘与相机图像语义边缘的对应性，在不需要特定标定物的情况下，可适应任意形状的语义类别边缘匹配，实现了激光雷达与相机之间外参矩阵的在线标定，保证了自动驾驶车辆行驶过程中传感器之间参数的稳定性。标定异常报警的设计考虑了车辆实际行驶场景过程中的具体问题，提醒车主需要进行维修。

26、2.本发明使用神经网络得到图像和点云的语义分割结果，相比传统算法具有更稳定的特征和更好的鲁棒性，且随着车辆行驶过程中采集数据的增加，训练的神经网络分割效果也会更准确。

27、3.本发明不依赖于场景中的特定特征，标定精度高，可靠性好，解决了现有自标定方法过于依赖立柱、车道线等特定人工景物的局限，提高了激光雷达与相机在线自标定的场景适应性，对于自动驾驶的准确多传感器融合具有很高实用价值。现有的在线标定算法依赖场景中的特征和假设，如能总能看到车道线且车道线是平行的、地面是水平的等，而本发明不要求场景中有特定、清晰的目标物。

技术特征：

1.一种基于语义边缘对齐的激光雷达-相机在线自标定方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于语义边缘对齐的激光雷达-相机在线自标定方法，其特征在于，所述1)中，图像语义边缘是利用边缘提取方法对图像语义分割结果进行处理后获得的。

3.根据权利要求1所述的一种基于语义边缘对齐的激光雷达-相机在线自标定方法，其特征在于，所述2)中，根据点云语义分割结果提取获得点云语义边缘，具体为：

4.根据权利要求1所述的一种基于语义边缘对齐的激光雷达-相机在线自标定方法，其特征在于，所述3)具体为：

5.根据权利要求1所述的一种基于语义边缘对齐的激光雷达-相机在线自标定方法，其特征在于，所述1)中，使用神经网络对相机采集的图像数据进行语义分割处理，获得图像语义分割结果。

6.根据权利要求1所述的一种基于语义边缘对齐的激光雷达-相机在线自标定方法，其特征在于，所述2)中，使用神经网络对激光雷达采集的点云数据进行语义分割处理，获得点云语义分割结果。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。

技术总结本发明公开了一种基于语义边缘对齐的激光雷达‑相机在线自标定方法。首先对图像和激光雷达采集的数据进行语义分割，得到图像语义分割和点云语义分割结果；接着对图像语义分割结果提取边缘，而点云语义分割结果经过环视视图变换和填充后再提取边缘。在使用存在偏差的初始外参将点云语义边缘投影到图像像素坐标系后，通过由粗到细不断精细化搜索最大匹配得分的方式，优化并修正激光雷达与相机之间的外参。本发明实现了不依赖于标定板的在线联合外参自标定，可适应任意形状的语义类别边缘匹配，不依赖于特定场景，标定精度高，可靠性好，提高了激光雷达与相机在线自标定的场景适应性，对于自动驾驶的准确多传感器融合具有很高实用价值。技术研发人员：项志宇,庞博文受保护的技术使用者：浙江大学技术研发日：技术公布日：2024/10/10