用于智能驾驶场景的多传感器联合标定方法及系统与流程

本发明涉及智能驾驶系统标定，具体涉及用于智能驾驶场景的多传感器联合标定方法及系统。

背景技术：

1、在智能驾驶场景中，利用安装在车上的多种传感器，比如激光雷达、摄像头、毫米波雷达、超声波雷达等，在汽车行驶过程中随时感知周围的环境，并收集数据，智能驾驶系统对收集到的多种传感器数据进行信息融合，智能化做出判断和反馈操作，进而保证自动驾驶车辆的安全行驶。

2、对于自动驾驶感知来说，由于多种传感器本身性能、安装方式以及使用场景的区别，因此需要对各传感器进行校准标定，标定是将两个或多个传感器变换到统一的时空坐标系，是信息精确融合必不可少的关键环节，并且标定的精度和准确度是传感器感知性能好坏的前提。同时，随着智能驾驶技术的发展，软件定义汽车时代来临，智能驾驶算法研究已经成为汽车软件系统开发不可分割的一部分，为了提高汽车融合算法的稳定性和准确性，也需要保证算法训练过程中车辆传感器原数据和标定参数的可靠性。

3、目前，如毫米波雷达及单目摄像头等车载感知传感器的标定，多采用单独标定，采用不同设备单独进行标定，不仅增加了车辆标定时间，对操作人员的标定技术也具有一定的要求，并且雷达标定结果的准确度较低，需多次标定才能来保证雷达的标定精度，标定效率低；另外，为了提高标定的准确度，对标定装置、标定空间环境要求较高，这类装置和空间布置由于复杂程度高，不便于挪动，因此常规标定均在固定的标定空间内进行，灵活度不强；还有，传感器在初始安装时需要对其进行标定，但是在车辆的行驶过程中会出现震动导致传感器与原位置产生一定的偏离，初次标定的结果就不再适用，因此传感器需要每隔一段时间就进行校准标定，无法避免重复以上现有复杂的标定过程。

技术实现思路

1、本发明意在提供用于智能驾驶场景的多传感器联合标定方法及系统，用来解决现有多传感器标定方式效率低、精度低的技术问题。

2、本发明提供的基础方案为：用于智能驾驶场景的多传感器联合标定方法，所述多传感器包括均接入车辆的第一组传感器和若干车载感知传感器；所述第一组传感器包括摄像头和激光雷达；所述方法包括如下步骤：

3、s1：搭建标定平台；以车辆所在空间建立车辆坐标系；

4、s2：基于车辆坐标系上设定的n个坐标点，获取激光雷达点云像素坐标系与车辆坐标系的转换关系参数，进行激光雷达标定；

5、s3：通过摄像头分别采集多张第一图像和第二图像，其中第一图像中第一标定板的位姿信息不同且非水平位置，第二图像中第二标定板的位姿信息不同且均为水平位置；通过标定平台分别根据第一标定板和第二标定板的位姿信息，获取摄像头的内参、外参和畸变参数；

6、s4：摄像头采集第三图像，基于s3中获取的摄像头的内参、外参和畸变参数，通过标定平台以第三图像的畸变情况验证摄像头是否标定成功；若第三图像畸变去除，则摄像头标定成功，继续s5，否则返回s3；

7、s5：在摄像头的视野范围内设置若干目标物，依次选择一个车载感知传感器，将该传感器输出的实时数据投影到摄像头输出的目标图像数据上，并在标定平台上可视化，若实时数据与目标图像数据未重合，则对该传感器参数进行调整直至实时数据与目标图像数据重合，该传感器标定成功。

8、本发明的工作原理及优点在于：首先进行摄像头和激光雷达的标定，以此建立一个标准标定环境，在标准标定环境基础上，根据车载感知传感器的实时数据与目标图像数据的可视化重合情况，快速进行其他车载感知传感器参数的调整，完成多传感器的联合标定。

9、本方案提供了一种快速、高效、精准的多传感器联合标定方法，与现有技术相比，本方案以两组传感器、先后关联标定的形式，优化了标定流程，在标定过程中,通过标定平台可以直接观察到摄像头和激光雷达或车载感知传感器的融合验证，标定效果实时可见，可以结合图像重合、畸变情况和原始的标定参数来快速校正标定参数，简化了标定参数的校正流程，提高了校正效率，无需布置特定的标定试验环境，即使车辆在行驶过程中发生传感器移位导致标定存在误差，也能够通过本方案的可视化和参数调整快速完成标定参数的校正，突破对于标定的场景存在的限制；整个标定过程，环境因素参与程度低，因此环境因素对标定过程影响小，进一步提高了标定准确性；在摄像头标定过程中，第一标定板和第二标定板分别以非水平位置和水平位置为摄像头提供适宜的原始图像数据，能够在不用改进算法的基础上，突破算法限制，只要标定板大小适宜，位置排布合理，就能够不受专业标定场地和标定空间的影响，提供高质量图片。

10、本发明基于用于智能驾驶场景的多传感器联合标定方法，还提供用于智能驾驶场景的多传感器联合标定系统，用来解决现有的技术问题。

11、所述系统包括辅助装置以及与多传感器通讯连接的处理终端；

12、所述辅助装置，用于辅助确定车辆坐标系以及辅助进行激光雷达和摄像头标定；所述辅助装置包括第一标定板和第二标定板；

13、所述处理终端包括数据处理模块、标定算法模块、显示模块和参数调节模块；所述数据处理模块，用于接收摄像头输出的图像数据、激光雷达输出的点云数据和车载感知传感器输出的实时数据；所述标定算法模块，用于接收数据处理模块的数据，并基于张定友标定法获取摄像头、激光雷达和车载感知传感器的标定参数；所述显示模块，用于显示初始状态和标定后的图像数据、点云数据和实时数据，以判断图像畸变情况和重合情况；所述参数调节模块，用于调整多传感器参数，以调整图像畸变情况和重合情况。

14、有益效果：本系统标定装置精简，结构合理，不受标定环境的限定，快速完成标定环境的搭建，实现激光和图像在线的高精度标定，以使得本方案标定方法适用于不同的路况和环境；在进行标定过程中，空间环境干扰影响小，进一步提高了标定结果的准确度。

技术特征：

1.用于智能驾驶场景的多传感器联合标定方法，其特征在于，所述多传感器包括均接入车辆的第一组传感器和若干车载感知传感器；所述第一组传感器包括摄像头和激光雷达；所述方法包括如下步骤：

2.根据权利要求1所述的用于智能驾驶场景的多传感器联合标定方法，其特征在于，s1中，以车辆所在空间建立车辆坐标系的方法包括：

3.根据权利要求1所述的用于智能驾驶场景的多传感器联合标定方法，其特征在于，s2中，所述转换关系参数包括轴旋转角度yaw、roll和pitch，以及平移矩阵[offsetx,offsety,offsetz]；激光雷达标定的方法包括：

4.根据权利要求1所述的用于智能驾驶场景的多传感器联合标定方法，其特征在于，s3中，第二图像中第二标定板的位姿信息不同且均为水平位置为，依次将第二标定板水平放置在车辆前端地面上的若干位置，若干位置左右对称排布。

5.根据权利要求4所述的用于智能驾驶场景的多传感器联合标定方法，其特征在于，所述若干位置为，沿车辆坐标系x轴正方向，分别距离原点6m、8m和10m两侧相对的位置。

6.根据权利要求1所述的用于智能驾驶场景的多传感器联合标定方法，其特征在于，s4中，摄像头采集第三图像，基于s3中获取的摄像头的内参、外参和畸变参数，通过标定平台以第三图像的畸变情况验证摄像头是否标定成功的方法包括：

7.根据权利要求6所述的用于智能驾驶场景的多传感器联合标定方法，其特征在于，所述按预设的方式设置图像参考线为，在车辆前方且与车辆坐标系原点相距第一距离处设置左右对称排布的两条标志线，其中，第一距离控制在5-10m范围内。

8.用于智能驾驶场景的多传感器联合标定系统，其特征在于，利用权利要求1-6任一所述用于智能驾驶场景的多传感器联合标定方法进行标定；所述系统包括辅助装置以及与多传感器通讯连接的处理终端；

9.根据权利要求8所述的用于智能驾驶场景的多传感器联合标定系统，其特征在于，所述第一标定板和第二标定板均采用棋盘格，其中第二标定板的单格面积比第一标定板的单格面积大。

10.根据权利要求9所述的用于智能驾驶场景的多传感器联合标定系统，其特征在于，所述第二标定板的黑白交叉角点个数为4*3。

技术总结本发明涉及智能驾驶系统标定技术领域，公开了用于智能驾驶场景的多传感器联合标定方法及系统，以两组传感器、先后关联标定的形式，优化了标定流程，首先进行摄像头和激光雷达的标定，以此建立一个标准标定环境，在标准标定环境基础上，根据车载感知传感器的实时数据与目标图像数据的可视化重合情况，快速进行其他车载感知传感器参数的调整，完成多传感器的联合标定；在标定过程中,通过标定平台可以直接观察到摄像头和激光雷达或者车载感知传感器的融合验证，标定效果实时可见，可以结合图像重合、畸变情况和原始的标定参数来快速校正标定参数，无需布置特定的标定试验环境，适用于不同的路况和环境；空间环境干扰影响小，标定结果准确度高。技术研发人员：张强,余大侠,潘登,陈媛媛,夏胜,李艺,何聪,李建军,骆文婕,郑植元受保护的技术使用者：中国汽车工程研究院股份有限公司技术研发日：技术公布日：2024/7/25