一种相机和激光雷达时间同步方法、装置及存储介质与流程

1.本发明涉及自动驾驶传感器同步领域，具体涉及一种相机和激光雷达时间同步方法、装置及存储介质。


背景技术：

2.当前自动驾驶感知系统的核心传感器是相机和雷达，二者协同工作的前提是对其传感器源进行时间同步，现有的相机和激光雷达间的时间同步方式分为时间硬同步和时间软同步两种，时间硬同步方式需要统一时钟信号，采用全局时间戳为基准进行硬件触发，这种方式必须给传感器预留硬件触发接口，对传感器要求很高，不适合普遍场景；软同步插值法将其中一种传感器的观测数据通过某种特定的拟合原则得到一个关于时间的曲线，然后通过该曲线得到另一传感器对应时刻的数值来进行配准，由于数据是拟合得到的理论值，和真实数据存在差异，会带来同一时刻传感器之间的数据配准问题。


技术实现要素：

3.有鉴于此，本发明实施例提供了涉及一种相机和激光雷达时间同步方法、装置及存储介质，以解决相机和激光雷达间时间同步硬触发方式对硬件要求过高不具有普适性的问题和时间软同步插值法因为数据源于拟合非真实的问题。
4.本发明提出的技术方案如下：
5.本发明实施例第一方面提供一种相机和激光雷达时间同步方法，包括：获取相机在第一时刻的图像以及激光雷达在第二时刻的点云；基于第一时刻和第二时刻的时间差内的位姿坐标变化构建位姿解算模型；根据所述位姿解算模型将所述相机和激光雷达进行时间同步。
6.可选地，所述位姿解算模型包括：雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型，根据所述位姿解算模型将所述相机和激光雷达进行时间同步，包括：根据所述雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型确定测量值和误差项；根据线特征对所述误差项进行校准；根据校准后的误差项和测量值将所述相机和激光雷达进行时间同步。
7.可选地，根据线特征对所述误差项进行校准，包括：根据基于学习的线特征提取算法提取图像中的线特征；基于所述点云与水平面的夹角提取得到雷达边界线特征；根据所述图像中的线特征和雷达边界线特征进行配准，实现对误差项的校准。
8.可选地，根据基于学习的线特征提取算法来提取图像中的线特征，包括：利用线段拟合映射和相应的基于区域划分的吸引力场映射之间的对偶性，生成吸引力场映射集合；根据吸引力场映射集合，采用深度卷积网络的语义分割方法和基于语义分割模型的改进网络进行计算得到引力场图；根据挤压模块对所述引力场图进行计算，得到线段图。
9.可选地，基于所述点云与水平面的夹角提取得到雷达边界线特征，包括：根据点云坐标与激光坐标的夹角关系，将点云划分到不同的线束上；根据激光线束感知的点云物体
边界处距离信息的差异，提取雷达边界线特征；根据ndt配准正态分布变换对所述雷达边界线特征进行处理，得到优化的线特征。
10.可选地，根据所述图像中的线特征和雷达边界线特征进行配准，实现对误差项的校准，包括：根据光流法和icp配准算法去除线特征中的动目标；根据旋转矩阵和平移向量将图像中的线特征和雷达边界线特征进行配准，得到图像形式的点云；根据卷积核和欧式点云聚类算法对所述图像形式的点云进行处理，去除离群值和地面上的点。
11.可选地，根据所述图像中的线特征和雷达边界线特征进行配准，实现对误差项的校准，还包括：根据自适应搜索优化算法和图优化算法对所述配准进行优化，实现所述误差项最小化。
12.本发明实施例第二方面提供一种相机和激光雷达时间同步装置，包括：数据获取模块，用于获取相机在第一时刻的图像以及激光雷达在第二时刻的点云；模型构建模块，用于基于第一时刻和第二时刻的时间差内的位姿坐标变化构建位姿解算模型；时间同步模块，根据所述位姿解算模型将所述相机和激光雷达进行时间同步。
13.本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的相机和激光雷达时间同步方法。
14.本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的相机和激光雷达时间同步方法。
15.本发明提供的技术方案，具有如下效果：
16.本发明实施例提供的相机和激光雷达时间同步方法、装置及存储介质，通过获取相机在第一时刻的图像以及激光雷达在第二时刻的点云；基于第一时刻和第二时刻的时间差内的位姿坐标变化构建位姿解算模型；根据位姿解算模型将相机和激光雷达进行时间同步。该时间同步方法通过时间差内构建的位姿解算模型实现了当采集的相机图像和雷达点云数据具有时间差时的在线时间同步，保证时间同步结果准确可靠。同时，该方法无需统一时钟信号，避免了硬件触发接口对传感器的选型限制，解决了相机和激光雷达间时间同步硬触发方式对硬件要求过高不具有普适性的问题。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是根据本发明实施例的相机和激光雷达时间同步方法的流程图；
19.图2是根据本发明实施例的相机和激光雷达时间同步方法直观示意图；
20.图3是根据本发明实施例的根据位姿解算模型将相机和激光雷达进行时间同步的流程图；
21.图4是根据本发明实施例的相机和激光雷达时间同步方法车体坐标系运动分解
图；
22.图5是根据本发明实施例的根据线特征对误差项进行校准的流程图；
23.图6是根据本发明实施例的激光雷达坐标系到相机坐标系投影图；
24.图7是根据本发明实施例的相机和激光雷达时间同步方法流程图；
25.图8是根据本发明实施例的相机和激光雷达时间同步装置的结构框图；
26.图9是根据本发明实施例提供的计算机可读存储介质的结构示意图；
27.图10是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.本发明实施例提供一种相机和激光雷达时间同步方法，如图1所示，具体包括如下步骤：
30.步骤s101：获取相机在第一时刻的图像以及激光雷达在第二时刻的点云。
31.具体地，当该时间同步方法用于自动驾驶技术领域时，该相机和激光雷达可以是车载相机和车载激光雷达；此外，该时间同步方法也可以应用于其他领域中，如其他情况下需要对相机和激光雷达进行时间同步时采用该时间同步方法，也在本发明的保护范围内。其中，第一时刻可以是t时刻，第二时刻可以是t δt时刻，或者，第二时刻为t时刻，第一时刻为t δt时刻，即第一时刻和第二时刻之间存在时间差。在一实施方式中，以下实施例以第一时刻为t时刻，第二时刻为t δt时刻进行说明。
32.步骤s102：基于第一时刻和第二时刻的时间差内的位姿坐标变化构建位姿解算模型。
33.在一实施方式中，可以采用坐标系推算的方式，计算第一时刻和第二时刻的时间差即δt时间内车体以及车上相机和雷达间的位姿坐标变化，从而构建位姿解算模型。
34.在一实施例中，位姿解算模型包括：雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型；由此构建的位姿解算模型通过以下公式表示：
35.t＝te*tv；
36.其中，等式左边t是位姿真值，te是雷达-相机外参的测量模型，tv是雷达-相机坐标系运动估算模型，如图2所示，相机和激光雷达时间同步方法直观示意图。
37.步骤s103：根据位姿解算模型将相机和激光雷达进行时间同步。
38.具体地，根据对构建的位姿解算模型求解，将激光雷达在第二时刻的点云推算到第一时刻，从而实现相机与激光雷达时间同步。
39.本实施提供的相机和激光雷达时间同步方法，通过获取相机在第一时刻的图像以及激光雷达在第二时刻的点云；基于第一时刻和第二时刻的时间差内的位姿坐标变化构建位姿解算模型；根据位姿解算模型将相机和激光雷达进行时间同步。该时间同步方法通过时间差内构建的位姿解算模型实现了当采集的相机图像和雷达点云数据具有时间差时的在线时间同步，保证时间同步结果准确可靠。同时，该方法无需统一时钟信号，避免了硬件
触发接口对传感器的选型限制，解决了相机和激光雷达间时间同步硬触发方式对硬件要求过高不具有普适性的问题。
40.作为本发明实施例的一种可选的实施方式，根据位姿解算模型将相机和激光雷达进行时间同步，如图3所示，具体包括如下步骤：
41.步骤s201：根据雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型确定测量值和误差项。
42.具体地，通过雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型构建了如上式所述的位姿解算模型。针对上述位姿解算模型，通过以下公式对等式右边项做真值和误差项拆解：
[0043][0044]
将拆解展开的te和tv代入上式t＝te*tv得到：
[0045][0046]
其中，是通过测量得到的值，∈e∈v是无穷小量，是误差项。
[0047]
代表着外参的测量误差，外参初值由离线标定得到，但离线标定测得的初值受标定技术约束可能不够精确，且外参在车辆长时间的行驶过程中和不同的车辆负载情况下可能发生变化，这共同带来了外参的测量误差。
[0048]
代表雷达-相机坐标系运动估算的误差，由于传感器固定安装在车体上，可通过拟合车体坐标系的运动来推算雷达-相机坐标系的运动。将δt瞬时内的车体坐标系运动按照匀速直线运动模型估算，使用惯导的加速度计、陀螺仪、磁力计实时数据来测算惯导坐标系下roll、yaw、pitch角度的姿态变换以及惯导系的加速度和角速度，通过惯导预积分计算δt瞬时内惯导坐标系的运动t
i_i
，如图4所示，将惯导坐标系的运动t
i_i
拆解成车体坐标系的运动tv左乘惯导系到车体系的外参变换矩阵t
i_l
以及右乘惯导系到车体系的外参变换矩阵t
l_i
，即δt瞬时内惯导坐标系的运动t
i_i
表示为：t
i_i
＝t
i_l
·
tv·
t
l_i
，对等式两边同时左乘t
i_l-1
和右乘t
l_i-1
,可解算得到车体坐标系的运动tv＝t
i_l-1
·
t
i_i
·
t
l_i-1
。
[0049]
步骤s202：根据线特征对误差项进行校准。
[0050]
其中，根据上述对位姿解算模型的拆解以及误差项的确定可知，车体坐标系运动中的匀速直线运动模型和预积分模型以模型推算的方式逼近了真实值，但仍然存在误差项，又因为雷达-相机坐标系的运动由车体坐标系的运动推算得来，因此这些误差项影响着雷达-相机坐标系下t δt时刻点云推算回t时刻点云的精度，因为线特征普遍存在于自然环境中，且它们在点云和图像上具有良好的对应关系。由此，可以采用线特征对误差项进行校准。
[0051]
步骤s203：根据校准后的误差项和测量值将相机和激光雷达进行时间同步。
[0052]
在一实施例中，如图5所示，上述步骤s202根据线特征对误差项进行校准具体包括如下步骤：
[0053]
步骤s301：根据基于学习的线特征提取算法提取图像中的线特征。具体地，在采用线特征对误差项进行校准时，需要先提取图像和点云中的先特征。其中对于图像中的线特征，可以采用基于学习的线特征提取算法afm实现特征提取。
[0054]
在一实施方式中，基于学习的线特征提取算法提取图像中的线特征时，利用线段拟合映射和相应的基于区域划分的吸引力场映射之间的对偶性，生成吸引力场映射集合；根据吸引力场映射集合，采用深度卷积网络的语义分割方法和基于语义分割模型的改进网络进行计算得到引力场图；根据挤压模块对引力场图进行计算，得到线段图。
[0055]
其中，利用线段拟合映射和相应的基于区域划分的吸引力场映射之间的对偶性具体是，先将训练数据集中所有线段映射转换为它们各自的吸引力场映射，然后通过学习convnets以端到端方式从原始输入图像预测吸引场图。区域划分映射将晶格中的每个像素点分配给n个线段中的一个，并构建像素点p到线段li的距离函数在吸引场映射中将p点在线段li上的投影点p’定义为对p到p
′
进行2d向量a(p)学习，即a(p)＝p
′‑
p。然后将像素编码为线关联，生成一个吸引力场映射集合a＝{a(p),p∈i}。接着利用基于深度卷积网络的最新图像语义分割方法u-net和基于deeplab v3 的改进网络进行计算得到引力场图。最后利用挤压模块对引力场图进行计算，得到其线段图。
[0056]
步骤s302：基于所述点云与水平面的夹角提取得到雷达边界线特征。
[0057]
其中，基于点云与水平面的夹角提取得到雷达边界线特征时，根据点云坐标与激光坐标的夹角关系，将点云划分到不同的线束上；根据激光线束感知的点云物体边界处距离信息的差异，提取雷达边界线特征；根据ndt配准正态分布变换对雷达边界线特征进行处理，得到优化的线特征。
[0058]
其中，将激光雷达采集的3d点云，根据其与水平面的夹角划分到激光的不同线上。具体可以是对点云进行预处理把点按激光的线束进行分割，将相同线束上的点划分到一起。在划分时，依据3d点坐标，构建每个点相对与激光坐标x-y平面的夹角公式然后根据该夹角公式计算到不同夹角，依据不同夹角将点云划分到不同的线束上。
[0059]
对于边界特征提取时，根据点云物体边界距离不连续的特性，激光线束会感知点云物体边界处相邻的边界内的点云点(记为p)和边界外的点云点(记为q)距离信息的显著差异，如果多个激光线束在相同的x＝p
x
＝q
x
或y＝py＝qy或z＝pz＝qz距离处都检测到这种相邻点云点的距离差异，可知此处存在点云物体的边界，在此处提取雷达边界线特征。
[0060]
同时，对于提取的雷达边界线特征，可能存在低波束雷达提取的雷达边界线特征稀疏的问题。具体地，针对该问题，采用三帧点云合一的方案，例如采用ndt配准正态分布变换，通过将激光雷达扫描的空间划分为细分单元格网格，基于单元内的点计算每个单元的正态分布，计算概率分布函数并最大化似然函数，以及当前帧和前一帧以及后一帧之间的变换矩阵。将密度较大的点云转化为图像形式，每个像素存储相应lidar点的距离信息。通过比较当前点与相邻点之间的距离，剔除离邻点太远的异常值，可以提取出更精确的线特征。此外，还可以将提取的雷达边界线特征采用水平线特征和垂直线特征分别存储的方式，避免相交线特征带来的干扰。
[0061]
步骤s303：根据图像中的线特征和雷达边界线特征进行配准，实现对误差项的校准。具体地，在对线特征和雷达边界线特征进行配准时，可以采用预定义的旋转矩阵和平移
向量实现配准过程。
[0062]
本实施例中在进行配准时，通过点云与图片上的点进行匹配，进而将点云转换成图像形式。对于点云和图片的点匹配，基于上述提取的线特征构建点云点集合和图像点集合其中n是点云点数量，m是图像点数量，l是激光雷达坐标系，c是相机坐标系。通过预先定义旋转矩阵r
l
→c和平移向量t
l
→c，表示激光雷达坐标系下的点云p
l
投影到pc的坐标变换过程。同时采用旋转矩阵和平移向量，将相关联的若干激光雷达坐标系的点云点投影到相机坐标系的图像点上：再将相机坐标系下的点投影到像素坐标系下完成点云点和像素点的对应。
[0063]
根据三角相似原理，像素平面中心坐标系下像素点满足：根据图像处理的需求把像素平面中心坐标系转到像素左上角坐标系，其中α、β是尺度因子，c
x
、cy是光心位置的平移向量，将代入u、v式得到：
[0064]
转成齐次坐标格式得到
[0065]
其中k为相机内参，t为世界坐标系下的像素坐标系到雷达坐标系的变换矩阵，(xw，yw，zw，1)是世界坐标系下的雷达点的齐次坐标。
[0066]
在一实施方式中，在进行配准之后，还需要将线特征中提取的异常值做进一步的过滤。具体地，可以根据卷积核和欧式点云聚类算法对图像形式的点云进行处理，去除离群值和地面上的点。
[0067]
其中，采用上述步骤已经将点云转换成图像形式，因此可以采用一个卷积核来滤除图像上的离群点，通过判断该点上下左右全部8个相邻点是否超过一定阈值来消除离群点对线特征的影响。此外，还可以采用欧式点云聚类算法来剔除相邻点较少的线特征，对于某空间点p，通过kd-tree近邻搜索算法找到k个离p点最近的点，这些点中距离小于设定阈值的点聚类到集合q中，当集合q中数目不再增加，整个聚类过程便结束。对于地面上的点，因其横向线特征在图像和雷达点云上的匹配效果不好，予以剔除。采用这两种过滤方法去除所有的离群值以及与地面上的点，使得剩下的线特征更具有组织性。
[0068]
在一实施方式中，当δt的时间内有观测到动目标时，动目标的存在会对线特征的校准带来巨大的影响。为消除这种影响，采取光流法和icp配准的方式，分别将图像和点云中的动目标剔除。
[0069]
其中，光流法通过观测运动物体在平面图像上像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的
对应关系，从而计算出相邻帧之间物体的运动信息。根据光流方程，i
x
u iyv i
t
＝0，建立稀疏光流跟踪方程，构建5*5的领域，在该领域中构建klt光流等式计算出光流场，即每张图像中每个像素的运动速度和运动方向，完成对俩图像帧之间动目标的跟踪。
[0070]
icp配准时是通过找出一幅点云每个点匹配另一幅点云的最近点，构建位姿解算误差评价方程极小化匹配点间的匹配误差并得到点云间的位姿解算关系。对于t时刻点云和t δt时刻的点云匹配，静态物体的最近点匹配距离显著小于动态物体的最近点匹配距离，鉴于静态物体在受观测物体中占支配地位，给最近点的匹配距离设定门限值，高于门限值的点即为动态物体点，通过点云聚类从点云集合中收集动态物体点。
[0071]
采取光流法和icp配准算法可以分别将图像和点云中的动目标剔除，通过剔除点云和图像中的动目标，消除了动目标对计算激光雷达点投影到图像灰度区域比例的影响，如6所示，为激光雷达坐标系到相机坐标系投影图。
[0072]
在一实施方式中，为优化基于线特征的配准效果，使得雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型的误差最小化，可以采用自适应搜索优化和图优化两种方式进行优化。上述步骤已将雷达线特征提取并投影到图像的线特征上，并计算雷达点投影到图像灰度上的比例，为优化基于线特征的配准效果，使得雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型的误差最小化，采用自适应搜索优化和图优化两种方式。
[0073]
其中，自适应搜索优化为避免局部最优，采取先粗后细的搜索方式，先采用宽线条灰度变化小的搜索策略，用于定位最优配准区域。通过设置投影比例的阈值，来切换搜索策略。当达到投影阈值时，说明已经处于包含最优解的区域，改用细线条灰度变化大的搜索策略来定位最优配准。搜索法优化采取梯度下降的思想，构建梯度函数方程，对每个时刻的投影比例进行计算，并计算六个向量方向搜索步长下的729个投影比例，向比例升高的方向移动搜索步伐，否则调整搜索步长重新寻找更高比例。
[0074]
图优化将图论中超图的理论引入优化问题，图优化中的顶点是激光雷达摄像机系统的时间校正后的投影灰度比例和真值的差值，边缘是图像上每个点云特征点的灰度值，总体优化问题变为条边加和的形式，建立优化方程由于构建的并非全连通图，具有稀疏性，这降低了图优化的时间和计算成本。在选定初值后，开始迭代，在每一步迭代构建目标函数增量的时候，采用雅可比和海塞的解析形式计算新增量在正切空间里的流型上的梯度，并继续采用gn高斯-牛顿法和lm列文伯格-马夸特法进行迭代，在迭代结束后返回优化值。在优化结束后，实现将雷达-相机外参的测量模型和雷达-相机坐标系运动估算模型的误差最小化。本实施例中优化过程的算法具体如下:
[0075]
算法优化过程
[0076]
需求：在第t帧的图像的线特征i
t
,在第t δt帧的水平方向的点云特征和竖
直方向的点云特征初始外参矩阵te，运动估计矩阵tv，上一图像帧的灰度比率gray_rate
[0077]
确保:标定外部矩阵和运动估计
[0078][0079][0080]
在一实施方式中，如图7所示，本发明提供的相机和激光雷达时间同步方法具体流程如下：获取相机在t时刻的图像和激光雷达在t δt时刻的点云，构建位姿解算模型将激光雷达在t δt时刻的点云推算到t时刻，对位姿解算模型中的误差项进行分析，分别对图
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0090]
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的相机和激光雷达时间同步方法。
[0091]
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0092]
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1-7所示实施例中的相机和激光雷达时间同步方法。
[0093]
上述电子设备具体细节可以对应参阅图1至图7所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0094]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。