具有多个相机调整的相机与车辆对准的制作方法

本公开涉及车辆中的相机的相机对准，并且具体地，涉及用于使用来自多个相机的图像将多个相机的参照系与车辆的参照系对准的系统和方法。

背景技术：

1、相机与车辆对准对于车辆中的感知和运动规划是有用的。相机到地面对准过程用于将相机参照系对准到地面参照系。相机到地面对准过程的结果可用于将相机对准到车辆参照系。然而，环境噪声、驾驶操纵或道路倾斜角度的差异可能影响相机到地面对准的结果。因此，期望提供一种克服这些环境影响的相机与车辆对准的方法。

技术实现思路

1、在一个示例性实施例中，公开了一种将车辆的第一相机和车辆的第二相机对准到车辆的参照系的方法。使用由第一相机获得的第一图像来获得第一相机的第一相机到地面变换矩阵，其中第一相机到地面变换矩阵将第一相机的第一坐标系与地面坐标系相关联。在第一相机的第一坐标系和第二相机的第二坐标系之间获得相机到相机变换矩阵。使用第一相机到地面变换矩阵和相机到相机变换矩阵为第二相机计算构造的相机到地面变换矩阵。使用所构造的第二相机的相机到地面变换矩阵来更新第二坐标系。

2、除了本文描述的一个或多个特征之外，更新第二坐标系还包括从构造的相机到地面变换矩阵中提取滚转角，从使用第二相机获得的第二图像中获得运动矢量和法向矢量，以及使用滚转角旋转运动矢量和法线矢量以生成旋转的运动矢量。该方法还包括使用旋转的运动矢量和旋转的法向矢量生成俯仰角和偏航角。该方法还包括确定来自第二相机的第二图像的第二鸟瞰视图图像和第一图像的第一鸟瞰视图图像，并将第一鸟瞰视图图像与第二鸟瞰视图图像对准。将第一鸟瞰视图图像与第二鸟瞰图像视图对准还包括对第一鸟瞰视图图像和第二鸟瞰视图图像的重叠区域运行优化程序。该方法还包括运行优化程序以确定第一鸟瞰视图图像和第二鸟瞰视图图像之间的变换矩阵，该变换矩阵使第一鸟瞰视图图像中的第一像素的第一强度与第二鸟瞰视图图像中的第二像素的第二强度之间的差异最小化。该方法还包括使第一相机到地面变换矩阵成熟以生成第一相机的相机到车辆变换矩阵。

3、在另一示例性实施例中，公开了一种用于将车辆的第一相机和车辆的第二相机与车辆的参照系对准的系统。所述系统包括处理器，所述处理器被配置为使用由所述第一相机获得的第一图像来获得所述第一相机的第一相机到地面变换矩阵，其中所述第一相机到地面变换矩阵将所述第一相机的第一坐标系与地面坐标系相关联，获得所述第一相机的所述第一坐标系与所述第二相机的第二坐标系之间的相机到相机变换矩阵，使用所述第一相机到地面变换矩阵和所述相机到相机变换矩阵来计算所述第二相机的构造的相机到地面变换矩阵，并且使用所述第二相机的构造的相机到地面变换矩阵来更新所述第二相机的所述第二坐标系。

4、除了本文描述的一个或多个特征之外，处理器还被配置为从构造的相机到地面变换矩阵中提取滚转角，从使用第二相机获得的第二图像中获得运动矢量和法向矢量，并使用滚转角旋转运动矢量和法向矢量以生成旋转的运动矢量。所述处理器进一步经配置以使用所述经旋转的运动矢量及经旋转的法向矢量产生俯仰角及偏航角。处理器还被配置为确定来自第二相机的第二图像的第二鸟瞰视图图像和第一图像的第一鸟瞰视图图像，并将第一鸟瞰视图图像与第二鸟瞰视图图像对准。所述处理器还被配置为对所述第一鸟瞰视图图像和所述第二鸟瞰视图图像的重叠区域运行优化程序，以将所述第一鸟瞰视图图像与所述第二鸟瞰视图图像对准。所述处理器还被配置为运行所述优化程序以确定所述第一鸟瞰视图图像和所述第二鸟瞰视图图像之间的变换矩阵，所述变换矩阵使所述第一鸟瞰视图图像中的第一像素的第一强度与所述第二鸟瞰视图图像中的第二像素的第二强度之间的差异最小化。所述处理器还被配置为使所述第一相机到地面变换矩阵成熟以生成所述第一相机的相机到车辆变换矩阵。

5、在又一示例性实施例中，公开了一种车辆。所述车辆包括用于获得第一图像的第一相机、具有第二坐标系的第二相机和处理器，所述第一相机具有第一坐标系。所述处理器被配置为使用所述第一图像获得用于所述第一相机的第一相机到地面变换矩阵，其中所述第一相机到地面变换矩阵将所述第一坐标系与地面坐标系相关联，获得所述第一相机的所述第一坐标系与所述第二相机的所述第二坐标系之间的相机到相机变换矩阵，使用所述第一相机到地面变换矩阵和所述相机到相机变换矩阵计算用于所述第二相机的构造的相机到地面变换矩阵，以及使用构造的相机到地面变换矩阵来更新所述第二相机的所述第二坐标系。

6、除了本文描述的一个或多个特征之外，处理器还被配置为从构造的相机到地面变换矩阵中提取滚转角，从使用第二相机获得的第二图像中获得运动矢量和法向矢量，并使用滚转角旋转运动矢量和法向矢量以生成旋转的运动矢量。所述处理器进一步经配置以使用所述经旋转的运动矢量及经旋转的法向矢量产生俯仰角及偏航角。处理器还被配置为确定来自第二相机的第二图像的第二鸟瞰视图图像和第一图像的第一鸟瞰视图图像，并将第一鸟瞰视图图像与第二鸟瞰视图图像对准。所述处理器还被配置为对所述第一鸟瞰视图图像和所述第二鸟瞰视图图像的重叠区域运行优化程序，以将所述第一鸟瞰视图图像与所述第二鸟瞰视图图像对准。所述处理器还被配置为运行所述优化程序以确定所述第一鸟瞰视图图像和所述第二鸟瞰视图图像之间的变换矩阵，所述变换矩阵使所述第一鸟瞰视图图像中的第一像素的第一强度与所述第二鸟瞰视图图像中的第二像素的第二强度之间的差异最小化。

7、当结合附图时，根据以下详细描述，本公开内容的上述特征和优点以及其它特征和优点是显而易见的。

技术特征：

1.一种将车辆的第一相机和所述车辆的第二相机对准到所述车辆的参照系的方法，包括：

2.根据权利要求1所述的方法，其中，更新所述第二坐标系还包括：从所构造的相机到地面变换矩阵中提取滚转角，从使用所述第二相机获得的第二图像中获得运动矢量和法向矢量，以及使用所述滚转角旋转所述运动矢量和所述法向矢量以生成旋转的运动矢量。

3.根据权利要求1所述的方法，还包括确定来自所述第二相机的第二图像的第二鸟瞰视图图像和所述第一图像的第一鸟瞰视图图像，并将所述第一鸟瞰视图图像与所述第二鸟瞰视图图像对准。

4.根据权利要求3所述的方法，其中将所述第一鸟瞰视图图像与所述第二鸟瞰视图图像对准还包括对所述第一鸟瞰视图图像和所述第二鸟瞰视图图像的重叠区域运行优化程序。

5.根据权利要求4所述的方法，还包括运行所述优化程序以确定所述第一鸟瞰视图图像和所述第二鸟瞰视图图像之间的变换矩阵，所述变换矩阵使所述第一鸟瞰视图图像中的第一像素的第一强度与所述第二鸟瞰视图图像中的第二像素的第二强度之间的差异最小化。

6.一种用于将车辆的第一相机和所述车辆的第二相机对准到所述车辆的参照系的系统，包括：

7.根据权利要求6所述的系统，其中，所述处理器还被配置为从所构造的相机到地面变换矩阵中提取滚转角，从使用所述第二相机获得的第二图像中获得运动矢量和法向矢量，并且使用所述滚转角旋转所述运动矢量和所述法向矢量以生成旋转的运动矢量。

8.根据权利要求6所述的系统，其中所述处理器还被配置为确定来自所述第二相机的第二图像的第二鸟瞰视图图像和所述第一图像的第一鸟瞰视图图像，并将所述第一鸟瞰视图图像与所述第二鸟瞰视图图像对准。

9.根据权利要求8所述的系统，其中所述处理器还被配置为对所述第一鸟瞰视图图像和所述第二鸟瞰视图图像的重叠区域运行优化程序，以将所述第一鸟瞰视图图像与所述第二鸟瞰视图图像对准。

10.根据权利要求9所述的系统，其中所述处理器还被配置为运行所述优化程序以确定所述第一鸟瞰视图图像和所述第二鸟瞰视图图像之间的变换矩阵，所述变换矩阵使所述第一鸟瞰视图图像中的第一像素的第一强度与所述第二鸟瞰视图图像中的第二像素的第二强度之间的差异最小化。

技术总结车辆包括执行用于将第一相机和第二相机对准到车辆的参照系的方法的系统。第一相机具有第一坐标系，并且第二相机具有第二坐标系。第一相机获得第一图像。所述处理器被配置为使用所述第一图像获得用于所述第一相机的第一相机到地面变换矩阵，其中所述第一相机到地面变换矩阵将所述第一坐标系与地面坐标系相关联，获得所述第一相机的所述第一坐标系与所述第二相机的所述第二坐标系之间的相机到相机变换矩阵，使用所述第一相机到地面变换矩阵和所述相机到相机变换矩阵计算用于所述第二相机的构造的相机到地面变换矩阵，以及使用构造的相机到地面变换来更新所述第二相机的所述第二坐标系。技术研发人员：X·杜,B·李,Y·胡,H·于受保护的技术使用者：通用汽车环球科技运作有限责任公司技术研发日：技术公布日：2024/8/20