一种环视相机相对位姿标定方法及系统与流程

本发明属于计算机视觉领域，尤其涉及一种环视相机相对位姿标定方法及系统。

背景技术：

1、环视相机是一种通过多个广角相机组成的相机系统，被广泛应用于汽车自动驾驶领域。环视相机可以监控获取汽车周围360度的视野，能有效帮助驾驶车辆感知周边环境，为驾驶决策提供参考信息。因此，环视相机的标定对于环境感知乃至驾驶决策的准确性有着至关重要的作用。

2、当前，环视相机的标定一般是基于单应性矩阵的方法，通过计算相机的单应性矩阵来确定相机的位姿，但这需要借助特定标定场地和标定物，且标定物的摆放和测量都会极大影响环视标定的精度。这种方式因标定场地的频繁维护以及标定物保存都会增加标定成本，且标定过程易受噪声干扰。

技术实现思路

1、有鉴于此，本发明实施例提供了一种环视相机相对位姿标定方法及系统，用于解决现有环视相机标定成本高且易受噪声干扰的问题。

2、在本发明实施例的第一方面，提供了一种环视相机相对位姿标定方法，包括：

3、获取环视相机动态采集的多帧图像序列，对每一帧图像预处理后，对相邻相机的图像帧进行特征匹配，得到初始相对位姿；

4、基于初始相对位姿计对环视相机的多帧图像进行联合优化，得到优化后的相对位姿；

5、选取环视相机中的任一相机作为位姿基准系，基于优化后的相对位姿确定各相机位姿估计，并对各相机成像的像素点进行反向投影，得到每个像素点在三维空间中的坐标；

6、基于像素点的三维空间坐标及三维坐标点在每个相机图像上的投影坐标，通过三维点云匹配，对相机位姿估计进行优化，得到优化后的相机位姿估计；

7、构建重投影残差函数，基于环视相机中各相机位姿成环约束及最小化重投影残差函数，对优化后的相机位姿估计进一步优化；

8、通过点云匹配和重投影残差函数对相机位姿估计进行重复优化直至位姿估计收敛，标定收敛后环视相机对应的相对位姿。

9、在本发明实施例的第二方面，提供了一种环视相机相对位姿标定系统，包括：

10、特征匹配模块，用于获取环视相机动态采集的多帧图像序列，对每一帧图像预处理后，对相邻相机的图像帧进行特征匹配，得到初始相对位姿；

11、联合优化模块，用于基于初始相对位姿计对环视相机的多帧图像进行联合优化，得到优化后的相对位姿；

12、反投影模块，用于选取环视相机中的任一相机作为位姿基准系，基于优化后的相对位姿确定各相机位姿估计，并对各相机成像的像素点进行反向投影，得到每个像素点在三维空间中的坐标；

13、第一优化模块，用于基于像素点的三维空间坐标及三维坐标点在每个相机图像上的投影坐标，通过三维点云匹配，对相机位姿估计进行优化，得到优化后的相机位姿估计；

14、第二优化模块，用于构建重投影残差函数，基于环视相机中各相机位姿成环约束及最小化重投影残差函数，对优化后的相机位姿估计进一步优化；

15、位姿标定模块，用于通过点云匹配和重投影残差函数对相机位姿估计进行重复优化直至位姿估计收敛，标定收敛后环视相机对应的相对位姿。

16、在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

17、在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

18、本发明实施例中，基于环视相机采集的图像帧，通过特征匹配得到初始相对位姿后，经过联合优化，对图像进行反投影，通过点云匹配以及重投影残差函数对相对位姿进行重复优化，直至位姿估计收敛，从而能够在软件算法的基础上实现相机位姿的标定，不仅实施成本低，过程简单、高效，而且能够有效保障标定结果的准确性、可靠性，避免外界噪声因素干扰。

技术特征：

1.一种环视相机相对位姿标定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对各相机成像的像素点进行反向投影，得到每个像素点在三维空间中的坐标包括：

3.根据权利要求1所述的方法，其特征在于，所述基于像素点的三维空间坐标及三维坐标点在每个相机图像上的投影坐标，通过三维点云匹配，对相机位姿估计进行优化，得到优化后的相机位姿估计包括：

4.根据权利要求1所述的方法，其特征在于，所述构建重投影残差函数包括：

5.一种环视相机相对位姿标定系统，其特征在于，至少包括：

6.根据权利要求5所述的系统，其特征在于，所述反投影模块包括：

7.根据权利要求5所述的系统，其特征在于，所述第一优化模块包括：

8.根据权利要求5所述的系统，其特征在于，所述构建重投影残差函数包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的一种环视相机相对位姿标定方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至4任一项所述的一种环视相机相对位姿标定方法的步骤。

技术总结本发明提供一种环视相机相对位姿标定方法及系统，该方法包括：获取环视相机多帧图像，对图像预处理后，通过对图像特征匹配估计初始相对位姿；基于两相机的多帧图像进行联合优化；对相机位姿估计进行反向投影，得到每个像素点在三维空间中的坐标，对三维坐标点重投影并进行三维点云匹配，基于点云匹配结果对相机位姿估计进行优化，构建重投影残差函数，结合环视相机间位姿成环约束对优化后的位姿估计进一步优化，重复相机位姿优化过程直至位姿估计收敛，并标定环视相机对应的相对位姿。通过该方案可以降低环视相机相对位姿标定成本，保障标定结果的准确性，基于软件算法实现相对位姿标定，实施过程简单高效，能有效避免外界因素干扰。技术研发人员：乔少华,王军,张志军受保护的技术使用者：武汉中海庭数据技术有限公司技术研发日：技术公布日：2024/9/12