一种基于球体的多目相机外参标定方法与流程

本发明涉及相机标定，具体为一种基于球体的多目相机外参标定方法。

背景技术：

1、相机外参描述了一组相机在世界坐标系的位置及旋转关系。在视觉测量及视觉三维重建领域，相机外参的标定精度直接影响了测量及重建结果的精确性，以往的相机外参标定方法预设一组固定的三维点，根据三维点到二维点的重投影误差优化相机外参；

2、这样的方法虽然速度快，但是无法确保设备空间范围内所有三维点的重投影误差均最小，所以在全局范围内计算精度低，由于引入系统误差，还可能导致结果不收敛，且尺寸与真实世界大小不符。

技术实现思路

1、本发明提供一种基于球体的多目相机外参标定方法，可以有效解决上述背景技术中提出无法确保设备空间范围内所有三维点的重投影误差均最小，所以在全局范围内计算精度低，由于引入系统误差，还可能导致结果不收敛，且尺寸与真实世界大小不符的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于球体的多目相机外参标定方法，包括以下步骤：

3、步骤s1，将已知半径的球体置于多目相机环绕式设备内部，让球体做空间上的位移并拍摄记录下每次的球体标定图片；

4、步骤s2，基于已知的相机内参对球体标定图片原图进行畸变矫正，得到畸变矫正图序列；

5、步骤s3，由于图像存在畸变，去畸变后球在图像中表现为椭圆，因此，对畸变矫正图序列做椭圆检测，筛选未拍到标定球的图片序列，即保证在每一次拍摄下，球体像素均完整存在于多目相机环绕式设备的每个相机像平面内，同时从图像检测出对应球的圆心坐标和长短轴的大小；

6、步骤s4，已知相机内参，和图像中圆心坐标和长短轴大小，以此为约束条件，把n×3的随机矩阵当做球三维点初始值，将m×6×1的随机矩阵作为相机位姿的初始值，送入光束法平差优化系统，优化得到符合真实大小的相机外参和三维点。

7、根据上述技术方案，步骤s1为数据准备部分，理想情况下，多次拍摄的球体像素序列应在每个相机的像平面上均匀分布；

8、步骤s2为图片序列矫正部分，球体标定图片原图为球体每次位移，多目相机环绕式设备所记录的原始图片序列；

9、步骤s3对畸变矫正图序列做椭圆检测，使用球体颜色作为约束，削减计算量使其能精准的检测到椭圆，如果在某次球体移动图像序列中存在未检测到、检测不完整的图像，则筛除本次球体标定图像序列，即保证在每一次拍摄下，球体像素均完整存在于多目相机环绕式设备的每个相机像平面内；

10、步骤s4通过光束法平差优化系统得到外参，具体地，在三维场景下，将n×3的随机矩阵当做球在真实空间中的三维点，将m×6×1的随机矩阵作为相机位姿的初始值，输入到光束法平差系统中；

11、首先对相机外参做矩阵变换，对每个相机位姿的前3个参数当做旋转参数，后3个参数当做平移参数，利用opencv的rodrigues算法将旋转参数变换为矩阵

12、r,_＝cv2.rodrigues(rvec)

13、

14、设球心oi在真实空间中的三维点坐标为(xw,yw,zw)，第j个相机的外参矩阵为tj，则空间中的三维点在相机坐标系下的坐标(xc,yc,zc)为：

15、

16、相机内参矩阵kj也已知，可以表示为：

17、

18、使用opencv的fitellipse椭圆检测方法，从图像ij中可以得到椭圆圆心的像素点坐标(xo,yo)和长短轴的大小a,b，即：

19、(xo,yo),(a,b),_＝cv2.fitellipse(ij)

20、已知球的真实半径r和图像中椭圆的长轴和短轴的大小a,b，当焦距fx＝fy＝f时，基于球心在相机坐标系的三维点坐标，可以计算球在图像中的长轴a和短轴b的大小：

21、

22、当焦距fx≠fy时，长轴a和短轴b的大小：

23、

24、则可以计算椭圆的大小误差：

25、

26、球心重投影得到的像素点坐标与图像中的椭圆圆心坐标重合，因此这里构建一个关于重投影误差的非线性最小二乘问题，球心oi在图像中的重投影坐标(xc,yc)为：

27、

28、则重投影误差可以定义为：

29、e2＝(xc-xo)2+(yc-yo)2

30、基于此，损失函数可以定义为，其中λ,μ为权重，则：

31、e＝λe1+μe2

32、这里采用bundle adjustment来最小化重投影误差，即：

33、

34、如此，便得到准确且符合真实世界尺寸的多目相机外参。

35、与现有技术相比，本发明的有益效果：

36、本发明在多目相机环绕式设备范围内对已知直径的球体进行多次移动并拍摄记录球体标定图片，基于相机内参对球体标定图片原图进行畸变矫正，得到畸变矫正图序列，对畸变矫正序列做椭圆检测，筛选未拍到标定球图片的同时，检测椭圆圆心的像素坐标以及椭圆的长轴和短轴，将相机内参、椭圆的圆心像素坐标、椭圆的长轴和短轴加入到光束法平差系统来标定相机外参，获得符合真实世界实际大小的相机外参，提高多目相机标定的准确性。

技术特征：

1.一种基于球体的多目相机外参标定方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于球体的多目相机外参标定方法，其特征在于：所述步骤s1为数据准备部分，理想情况下，多次拍摄的球体像素序列应在每个相机的像平面上均匀分布；

技术总结本发明公开了一种基于球体的多目相机外参标定方法，包括以下步骤：步骤S1，将已知半径的球体置于多目相机环绕式设备内部，让球体做空间上的位移并拍摄记录下每次的球体标定图片，本发明在多目相机环绕式设备范围内对已知直径的球体进行多次移动并拍摄记录球体标定图片，基于相机内参对球体标定图片原图进行畸变矫正，得到畸变矫正图序列，对畸变矫正序列做椭圆检测，筛选未拍到标定球图片的同时，检测椭圆圆心的像素坐标以及椭圆的长轴和短轴，将相机内参、椭圆的圆心像素坐标、椭圆的长轴和短轴加入到光束法平差系统来标定相机外参，获得符合真实世界实际大小的相机外参，提高多目相机标定的准确性。技术研发人员：王家奎,崔燕受保护的技术使用者：湖北查克科技有限责任公司技术研发日：技术公布日：2024/10/10