一种视觉导航无人机的单目相机与IMU联合标定方法及装置

本申请涉及机器视觉，具体而言，涉及一种视觉导航无人机的单目相机与imu联合标定方法及装置。

背景技术：

1、随着无人机技术的发展，无人机在农业、物流、监控和灾难救援等领域的应用越来越广泛。为了实现自主飞行和导航，无人机需要高精度的位姿估算和导航能力。传统的导航方式主要依赖于gnss，但在室内或gnss信号受阻的环境下，gnss无法提供可靠的位置信息。为了克服这些限制，视觉惯性导航（visual-inertial navigation）技术应运而生。该技术结合了相机和惯性测量单元（imu）两种传感器的数据，通过视觉和惯性信息的融合，实现高精度的位姿估算。

2、视觉惯性导航的核心在于相机和imu的联合标定。只有在准确标定了相机和imu的内参和外参后，才能进行有效的数据融合。在现有技术中，常用的标定方法多为离线标定，需要在特定环境下采集大量数据，并通过复杂的优化算法计算标定参数，该方法不仅耗时，而且难以应对传感器参数在实际使用过程中的漂移和变化。因此，如何设计一种能够进行实时在线联合标定的系统，来提高无人机的导航精度和鲁棒性成为本领域技术人员众多研究方向之一。

技术实现思路

1、本申请的目的在于，为了克服现有的技术缺陷，提供了一种视觉导航无人机的单目相机与imu联合标定方法及装置，能够在拒止环境下对无人机进行加速在线标定，从而支持快速定位导航，受到环境影响小。

2、本申请目的通过下述技术方案来实现：

3、第一方面，本申请提出了一种视觉导航无人机的单目相机与imu联合标定方法，所述方法包括：

4、初始化相机和imu设备，并通过相机和imu设备分别采集图像数据和imu数据，将图像数据与imu数据进行时间同步；

5、利用加速方式对图像数据和imu数据进行内参标定，利用加速方式对内参标定后的图像数据和imu数据进行在线联合标定获得相机内参、相机外参、imu内参以及imu外参；

6、将相机内参、相机外参、imu内参以及imu外参传入至slam系统进行位姿解算得到无人机位姿和速度。

7、在一种可能的实施方式中，在线联合标定的目标函数为最小化imu预积分误差和相机重投影误差的总和：，其中为相机重投影误差的平方和，为imu旋转误差的平方和，为imu测量的时刻i到时刻j之间的旋转矩阵变化，为通过预积分计算得出的旋转量，为imu速度误差的平方和，为imu测量的时刻i到时刻j之间的速度变化，为通过预积分计算得出的速度增量，为imu位置误差的平方和，为通过预积分计算得出的时刻i到时刻j之间的位置变化，为通过预积分计算得出的位置增量。

8、在一种可能的实施方式中，相机内参和相机外参均采用相机重投影误差进行优化，相机重投影误差的计算公式为：，其中是投影函数，为相机的旋转角度，为相机的平移距离，是三维点，是图像上的特征点。

9、在一种可能的实施方式中，预积分的计算公式为：

10、；

11、；

12、；

13、其中为第k时刻的角速度向量，为第k时刻的时间间隔，为第k时刻的旋转矩阵，为第k时刻的加速度向量，为加速度计的偏置，为重力加速度向量，为第k时刻的速度向量。

14、在一种可能的实施方式中，位姿解算的公式为：

15、=；

16、=；

17、=；

18、其中为无人机在时刻的位置估计，为无人在时刻的位置估计，为无人机在时刻的速度估计，为时间步长，为无人机在时刻的旋转矩阵，为imu在时刻的加速度测量值，为加速度计的偏置，为无人机在时刻的速度估计，为无人机在时刻的旋转矩阵估计，为无人机在时刻的旋转矩阵估计，为imu在时刻的角速度测量值，为角速度计的偏置，为指数函数。

19、在一种可能的实施方式中，在线联合标定使用cuda或opencl执行gpu加速的非线性最小二乘优化算法来加速矩阵运算和求解。

20、在一种可能的实施方式中，对相机和imu设备的初始化包括图像特征提取和匹配、运动估计、初始地图构建、imu偏置估计、预积分、视惯联合优化图像与imu时间同步、联合优化进行尺度校正以及速度和偏置初始化。

21、在一种可能的实施方式中，所述图像数据包括单目图像帧和图像时间戳，imu数据包括物体瞬时加速率、角速率及imu时间戳。

22、第二方面，本申请提出了一种视觉导航无人机的单目相机与imu联合标定装置，所述装置包括：

23、初始化单元，用于初始化相机和imu设备，并通过相机和imu设备分别采集图像数据和imu数据，将图像数据与imu数据进行时间同步；

24、标定单元，用于利用加速方式对图像数据和imu数据进行内参标定，利用加速方式对内参标定后的图像数据和imu数据进行在线联合标定获得相机内参、相机外参、imu内参以及imu外参；

25、位姿解算单元，用于将相机内参、相机外参、imu内参以及imu外参传入至slam系统进行位姿解算得到无人机位姿和速度。

26、上述本申请主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本申请可采用并要求保护的方案；且本申请，（各非冲突选择）选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本申请方案后根据现有技术和公知常识可明了有多种组合，均为本申请所要保护的技术方案，在此不做穷举。

27、本申请公开了一种视觉导航无人机的单目相机与imu联合标定方法及装置，首先初始化相机和imu设备，并通过相机和imu设备分别采集图像数据和imu数据，将图像数据与imu设备进行时间同步，再利用加速方式对相机和imu设备进行内参标定，利用加速方式对内参标定后的相机和imu设备进行在线联合标定获得相机内参、相机外参、imu内参以及imu外参，传入至slam系统进行位姿解算得到无人机位姿和速度。对采集的视惯数据进行快速联合标定，加速系统的运行，并通过视惯融合的slam定位方法获得鲁棒性高的无人机位姿、速度数据，整个过程不依赖gnss卫星数据，成本较低，对极端环境忍耐较好。

技术特征：

1.一种视觉导航无人机的单目相机与imu联合标定方法，其特征在于，所述方法包括：

2.如权利要求1所述的单目相机与imu联合标定方法，其特征在于，在线联合标定的目标函数为最小化imu预积分误差和相机重投影误差的总和：，其中为相机重投影误差的平方和，为imu旋转误差的平方和，为imu测量的时刻i到时刻j之间的旋转矩阵变化，为通过预积分计算得出的旋转量，为imu速度误差的平方和，为imu测量的时刻i到时刻j之间的速度变化，为通过预积分计算得出的速度增量，为imu位置误差的平方和，为通过预积分计算得出的时刻i到时刻j之间的位置变化，为通过预积分计算得出的位置增量。

3.如权利要求2所述的单目相机与imu联合标定方法，其特征在于，相机内参和相机外参均采用相机重投影误差进行优化，相机重投影误差的计算公式为：，其中是投影函数，为相机的旋转角度，为相机的平移距离，是三维点，是图像上的特征点。

4.如权利要求2所述的单目相机与imu联合标定方法，其特征在于，预积分的计算公式为：

5.如权利要求1所述的单目相机与imu联合标定方法，其特征在于，位姿解算的公式为：

6.如权利要求1所述的单目相机与imu联合标定方法，其特征在于，在线联合标定使用cuda或opencl执行gpu加速的非线性最小二乘优化算法来加速矩阵运算和求解。

7.如权利要求1所述的单目相机与imu联合标定方法，其特征在于，对相机和imu设备的初始化包括图像特征提取和匹配、运动估计、初始地图构建、imu偏置估计、预积分、视惯联合优化图像与imu时间同步、联合优化进行尺度校正以及速度和偏置初始化。

8.如权利要求1所述的单目相机与imu联合标定方法，其特征在于，所述图像数据包括单目图像帧和图像时间戳，imu数据包括物体瞬时加速率、角速率及imu时间戳。

9.一种视觉导航无人机的单目相机与imu联合标定装置，其特征在于，所述装置包括：

技术总结本申请公开了一种视觉导航无人机的单目相机与IMU联合标定方法及装置，涉及机器视觉技术领域，首先初始化相机和IMU设备，并通过相机和IMU设备分别采集图像数据和IMU数据，将图像数据与IMU设备进行时间同步，再利用加速方式对相机和IMU设备进行内参标定，利用加速方式对内参标定后的相机和IMU设备进行在线联合标定获得相机内参、相机外参、IMU内参以及IMU外参，传入至SLAM系统进行位姿解算得到无人机位姿和速度。对采集的视惯数据进行联合标定，加速系统的运行，并通过视惯融合的SLAM定位方法获得鲁棒性高的无人机位姿、速度数据，整个过程不依赖GNSS卫星数据，具有成本低、对极端环境忍耐较好的特点。技术研发人员：陈欢,罗正明,周方仁,程宾洋受保护的技术使用者：上海交通大学四川研究院技术研发日：技术公布日：2024/11/18