全景相机外参标定方法、全景相机系统及车辆与流程

本申请涉及车辆辅助视觉，更具体地，涉及车辆全景相机外参标定。

背景技术：

1、车辆全景相机系统通过在车辆前后左右安装至少四个广角相机以采集车辆周围360度的图像信息，利用同一时刻四个相机的图像信息，经过一系列的图像处理算法生成以车辆为中心的全景图像呈现在显示器上，它为驾驶员扩大了视野，避免了因视野盲区造成的车辆行驶安全问题，是辅助用户驾驶、泊车的重要工具。相机参数包括内参和外参：内部参数包括光心偏移、焦距和畸变系数，在车辆使用过程中一般是不会改变的，它由相机厂商提供；外参描述了相机坐标系相对于世界坐标系的变换关系，通常是在汽车出厂前在标定车间中进行标定完成。其中，全景相机的外参标定是至关重要的环节，每个相机外参的准确性都会直接影响全景拼接的质量。

2、常用的相机外参标定的方法主要是借助于特殊的标定模板，如棋盘格，首先建立以标定模板中心为原点的世界坐标系，标定模板上的角点坐标是通过测量得到的精确值，使车辆位置固定，即车辆自身坐标系和世界坐标系是固定的关系，最后通过标定模板的成像信息和其物理尺寸分别计算得到世界坐标系和每个相机坐标系之间的关系，然而该种方法操作复杂，需要提前安排场地并布置标定模板。

3、在这一部分中提供的信息是为了一般地呈现本申请的背景的目的，因此可以包括不构成本领域的现有技术的信息。

技术实现思路

1、本申请的目的在于解决或至少缓解现有技术中所存在的问题。

2、本申请的一方面涉及一种全景相机外参标定方法，所述全景相机包括多个广角相机，所述方法包括以下步骤：

3、设置外参当前值，其中，在初次设置外参当前值时，将所述外参当前值设置为外参设计值；

4、使车辆在具有标识图案的路面上行驶一定路程；

5、在车辆的行驶过程中通过所述多个广角相机连续采集车辆四周路面的广角图像；

6、将广角图像转换为鸟瞰图；

7、在鸟瞰图上获得特征点对；

8、根据特征点对构建地图点；

9、根据地图点构建地图；

10、基于所述外参来计算地图点的重投影误差，通过优化算法使所述重投影误差最小化，以获得一组外参输出值；

11、当迭代的次数未达到设定值时，将所述外参输出值设置为所述外参当前值，重复上述步骤以进行迭代；

12、当迭代的次数达到设定值后，以最后一组外参输出值作为外参最终值。

13、在本申请的实施例中，可选地，所述鸟瞰图是通过逆向映射将所述广角图像的坐标转换为所述鸟瞰图的坐标而获得的。

14、在本申请的实施例中，可选地，所述获得特征点对的步骤包括：

15、特征点的检测；

16、特征点的筛选，以使特征点均匀分布在所述鸟瞰图上，以及去除不位于路面上的特征点；

17、特征点的匹配，以获得特征点对，包括：

18、前后帧匹配，对相同广角相机采集的初始帧上的特征点与当前帧上的特征点进行匹配，当初始帧与当前帧的匹配成功的特征点对达到预定值时，则认为跟踪成功，否则认为跟踪失败，并重新选择初始帧和当前帧以对其上的特征点进行匹配；和

19、对角匹配，对相邻广角相机在同一帧采集的鸟瞰图之间的重叠区域上的特征点进行匹配。

20、在本申请的实施例中，可选地，还包括对经过匹配的特征点对进行筛选，并将经过筛选的特征点对作为所述根据特征点对构建地图点的步骤中的特征点对，特征点对的筛选包括：利用极线约束进行筛选，和利用特征点对的统计距离进行筛选。

21、在本申请的实施例中，可选地，在所述根据地图点构建地图的步骤中，包括：当地图上的地图点的数量大于一定值且地图为非旋转地图时，则判断所述地图为好地图，否则为次好地图，其中，根据初始帧与当前帧计算车辆的旋转角，并基于所述旋转角和/或车轮角判断地图是否为非旋转地图；

22、在基于所述外参来计算地图点的重投影误差的步骤中，优先基于好地图上的地图点计算重投影误差，当好地图不足时，选择次好地图上的地图点作为补充。

23、在本申请的实施例中，可选地，在基于所述外参来计算地图点的重投影误差的步骤中，包括根据地图点所对应的特征点的数量来对地图点的优先级进行划分，地图点的优先级随其所对应的特征点数量减少而降低，按照优先级从高至低的顺序选择地图点用于计算，直到地图点的数量达到所需值。

24、在本申请的实施例中，可选地，在基于所述外参来计算地图点的重投影误差的步骤中，包括：

25、所述重投影误差为地图点重投影回广角图像的投影值与地图点的对应特征点在广角图像中的观测值之间的误差，第i个地图点投影回广角图像的投影值i通过以下公式得到：

26、投影值i＝a*t*m*pi

27、其中，a为内参，包括畸变系数，

28、t为外参，

29、m为帧间位姿，其中初始帧的帧间位姿为单位矩阵，

30、pi为第i个地图点。

31、在本申请的实施例中，可选地，所述标识图案包括交通标志线，所述全景相机包括分别位于车辆的前侧、后侧、左侧和右侧的至少四个广角相机，所述全景相机外参包括所述广角相机的外参。

32、本申请的另一方面还涉及一种全景相机系统，其通过根据前述方法中任一项来进行相机外参标定，所述系统包括：

33、图像采集模块，其在车辆行驶过程中采集广角图像；

34、图像处理模块，其将所述广角图像转换为鸟瞰图，并进行特征点的检测、筛选和匹配，以及地图点和地图的构建；

35、数据处理模块，其根据得到的地图点进行计算以获得外参最终值。

36、本申请的又一方面还涉及一种车辆，其通过根据前述方法中任一项所述的全景相机外参标定方法进行外参标定，或者具有前述的全景相机系统。

技术特征：

1.一种全景相机外参标定方法，所述全景相机包括多个广角相机，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其中，所述鸟瞰图是通过逆向映射将所述广角图像的坐标转换为所述鸟瞰图的坐标而获得的。

3.根据权利要求1所述的方法，其中，所述获得特征点对的步骤包括：

4.根据权利要求3所述的方法，还包括对经过匹配的特征点对进行筛选，并将经过筛选的特征点对作为所述根据特征点对构建地图点的步骤中的特征点对，特征点对的筛选包括：利用极线约束进行筛选，和利用特征点对的统计距离进行筛选。

5.根据权利要求1所述的方法，其中，在所述根据地图点构建地图的步骤中，包括：当地图上的地图点的数量大于一定值且地图为非旋转地图时，则判断所述地图为好地图，否则为次好地图，其中，根据初始帧与当前帧计算车辆的旋转角，并基于所述旋转角和/或车轮角判断地图是否为非旋转地图；

6.根据权利要求1所述的方法，其中，在基于所述外参来计算地图点的重投影误差的步骤中，包括根据地图点所对应的特征点的数量来对地图点的优先级进行划分，地图点的优先级随其所对应的特征点数量减少而降低，按照优先级从高至低的顺序选择地图点用于计算，直到地图点的数量达到所需值。

7.根据权利要求1所述的方法，其中，在基于所述外参来计算地图点的重投影误差的步骤中，包括：

8.根据权利要求1所述的方法，其中，所述标识图案包括交通标志线，所述全景相机包括分别位于车辆的前侧、后侧、左侧和右侧的至少四个广角相机，所述全景相机外参包括所述广角相机的外参。

9.一种全景相机系统，其通过权利要求1-8中任一项所述的方法来进行相机外参标定，所述系统包括：

10.一种车辆，其通过根据权利要求1-8中任一项所述的全景相机外参标定方法进行外参标定，或者具有根据权利要求9所述的全景相机系统。

技术总结一种全景相机外参标定方法，全景相机包括多个广角相机，方法包括以下步骤：设置外参当前值；使车辆在具有标识图案的路面上行驶一定路程；在车辆的行驶过程中通过多个广角相机连续采集车辆四周路面的广角图像；将广角图像转换为鸟瞰图并构建地图点；基于外参来计算地图点的重投影误差，通过优化算法使重投影误差最小化，以获得一组外参输出值。技术研发人员：申夏晶,杨学军,马文,华艳受保护的技术使用者：上汽通用汽车有限公司技术研发日：技术公布日：2024/8/1