一种基于全景相机和惯导设备的融合定位方法及终端与流程

本发明涉及测量，尤其涉及的是一种基于全景相机和惯导设备的融合定位方法、终端及可读存储介质。

背景技术：

1、视觉里程计及视觉惯性里程计已经被广泛用于自动驾驶和机器人导航等领域。其中，增加相机视场角是一种公认的高效方式去提高系统的鲁棒性和可靠性，因为能够捕捉更多的纹理特征，并且可以有效增加影像帧与帧之间的共视区间。

2、目前在vo(visual odometry，视觉里程计)领域，近两年已经有一些典型的vo模型开始支持360相机，基于特征点法的openvslam，基于直接法的360vo，并且展示出了比传统针孔相机更好的定位性能。然而，vo的一个明显限制是不能没有尺度信息，因此在实际应用领域，vio(visual-inertial odometry，惯性视觉里程计)具有更加广泛的应用。尽管目前常用的vio系统，可以支持多种相机模型，例如针孔，鱼眼，全向模型，然而这些都属于线性投影模型，线性投影模型中，当fov(field of view，视场角)超过180度以后，图像不能合适的转换为透视图像，因此便不能充分利用大fov视角，导致无法实现全景相机和imu(六轴陀螺仪)之间的融合定位，而vio系统的第一步便是准确的外参估计，因此，基于已有的知识，当前没有vio系统支持在线全景360全景相机与imu的外参标定。

技术实现思路

1、本发明的目的是提供一种基于全景相机和惯导设备的融合定位方法、终端及可读存储介质，旨在解决现有技术中大角度全景相机由于图像不能合适的转换为透视图像，导致无法实现融合定位的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、本发明提供一种基于全景相机和惯导设备的融合定位方法所述基于全景相机和惯导设备的融合定位方法包括：

4、获取全景相机影像数据和惯导设备数据，根据所述全景相机影像数据提取特征点；

5、根据所述特征点获取关键帧，并获取第一设定时长的包含关键帧的全景相机影像数据的帧作为多个检测帧，通过对极约束模型计算所述检测帧的旋转参数和平移参数，并通过全景重投影误差模型对各检测帧的所述旋转参数和所述平移参数进行优化得到各检测帧的视觉旋转平移参数；

6、根据所述惯导设备数据和所述视觉旋转平移参数对全景相机和惯导设备进行视觉惯性融合定位。

7、进一步地，所述根据所述全景相机影像数据提取特征点之后，还包括：

8、从所述特征点中随机选取拟合特征点，根据所述拟合特征点拟合对极约束模型：

9、

10、其中，p1为全景相机影像前帧的拟合特征点，[u1 v1 w1]为全景相机影像前帧归一化后的拟合特征点的三轴坐标，p2为全景相机影像后帧的拟合特征点，[u2 v2 w2]为全景相机影像后帧归一化后的拟合特征点的三轴坐标，[t]×指的是两帧之间平移向量的反对称矩阵，r指的是两帧之间旋转参数，t表示转置；

11、所述对极约束模型滤除特征点中在全景相机影像数据前后两帧匹配错误的特征点。

12、进一步地，所述根据所述对极约束模型滤除特征点中在全景相机影像数据前后两帧匹配错误的特征点之后，还包括：

13、遮蔽所述特征点所在的设定大小的区域，对全景相机影像数据中未遮蔽的区域再次提取特征点。

14、进一步地，所述根据所述特征点获取关键帧，具体包括：

15、采用第二设定时长的滑窗对所述全景相机影像数据进行采样获取多个采样帧；

16、以最后一帧采样帧作为参考帧，其余采样帧作为目标帧，依次计算目标帧与参考帧的特征点的平均变化角度，若目标帧中任一帧与参考帧的平均变化角度大于设定阈值，则以该目标帧与参考帧作为关键帧；

17、若目标帧与参考帧的特征点的平均变化角度均不大于设定阈值，则通过移动滑窗重新选取第二设定时长的视频影像数据，直到获取到关键帧。

18、进一步地，所述通过对极约束模型计算所述检测帧的旋转参数和平移参数，具体包括：

19、对检测帧均选取空间点计算各检测帧的本质矩阵；

20、分解所述本质矩阵得到多组解，选取多组解中深度值均大于0的解作为正确的解，得到各检测帧的旋转参数和平移参数。

21、进一步地，所述通过全景重投影误差模型对各检测帧的所述旋转参数和所述平移参数进行优化得到各检测帧的视觉旋转平移参数，具体包括：

22、根据所述全景重投影误差模型建立视觉优化目标函数：

23、

24、其中，m是滑窗中的帧的数量，n是特征点的数量，ij是滑窗中第j帧特征点的像素值，pi是第i个特征点在世界坐标系下的坐标，r是旋转参数，t是平移参数；

25、对所述视觉优化目标函数进行求解，得到视觉旋转平移参数。

26、进一步地，所述根据所述惯导设备数据和所述视觉旋转平移参数对全景相机和惯导设备进行视觉惯性融合定位，具体包括：

27、根据所述惯导设备数据和所述视觉旋转平移参数中的视觉旋转参数修正所述惯导设备的旋转偏差：

28、

29、

30、其中，δbg是旋转偏差，是第l帧的视觉旋转参数，是第l+1帧的视觉旋转参数，是根据惯导设备数据得到的补偿了旋转偏差的第l帧与第l+1帧之间的相对旋转矩阵，是相对于角速度bias的雅可比矩阵，是根据惯导设备数据得到的未补偿旋转偏差的第l帧与第l+1帧之间的相对旋转矩阵，w表示滑窗内的帧的集合；

31、根据修正后的惯导设备数据和所述视觉旋转平移参数确定重力方向、全景相机影像数据各帧的速度以及全景相机的尺度。

32、进一步地，所述基于全景相机和惯导设备的融合定位方法还包括：

33、根据所述惯导设备数据和所述全景相机影像数据对全景相机和惯导设备进行紧耦合优化。

34、此外，为实现上述目的，本发明还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于全景相机和惯导设备的融合定位程序，所述基于全景相机和惯导设备的融合定位程序被所述处理器执行时控制终端实现如上所述的基于全景相机和惯导设备的融合定位方法的步骤。

35、此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质存储有基于全景相机和惯导设备的融合定位程序，所述基于全景相机和惯导设备的融合定位程序被处理器执行时实现如上所述的基于全景相机和惯导设备的融合定位方法的步骤。

36、本发明采用上述技术方案具有以下效果：

37、本发明通过对极约束模型对设定时长范围的所有帧进行三角化求解，并采用全景重投影误差模型对所有帧的旋转参数和平移参数进行优化的方法，从而避免了现有线性模型无法对超广角设备转换为透视图像，进而无法实现视觉和惯性设备融合定位的问题。

技术特征：

1.一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述基于全景相机和惯导设备的融合定位方法包括：

2.根据权利要求1所述的一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述根据所述全景相机影像数据提取特征点之后，还包括：

3.根据权利要求2所述的一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述根据所述对极约束模型滤除特征点中在全景相机影像数据前后两帧匹配错误的特征点之后，还包括：

4.根据权利要求1所述的一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述根据所述特征点获取关键帧，具体包括：

5.根据权利要求1所述的一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述通过对极约束模型计算所述检测帧的旋转参数和平移参数，具体包括：

6.根据权利要求1所述的一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述通过全景重投影误差模型对各检测帧的所述旋转参数和所述平移参数进行优化得到各检测帧的视觉旋转平移参数，具体包括：

7.根据权利要求1所述的一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述根据所述惯导设备数据和所述视觉旋转平移参数对全景相机和惯导设备进行视觉惯性融合定位，具体包括：

8.根据权利要求1所述的一种基于全景相机和惯导设备的融合定位方法，其特征在于，所述基于全景相机和惯导设备的融合定位方法还包括：

9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于全景相机和惯导设备的融合定位程序，所述基于全景相机和惯导设备的融合定位程序被所述处理器执行时控制终端实现如权利要求1-8任一项所述的基于全景相机和惯导设备的融合定位方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质存储有基于全景相机和惯导设备的融合定位程序，所述基于全景相机和惯导设备的融合定位程序被处理器执行时实现如权利要求1-8任一项所述的基于全景相机和惯导设备的融合定位方法的步骤。

技术总结本发明公开一种基于全景相机和惯导设备的融合定位方法、终端及可读存储介质，所述方法包括：获取全景相机影像数据和惯导设备数据，根据所述全景相机影像数据提取特征点；根据所述特征点获取关键帧，并获取第一设定时长的包含关键帧的全景相机影像数据的帧作为多个检测帧，通过对极约束模型计算所述检测帧的旋转参数和平移参数，并通过全景重投影误差模型对各检测帧的所述旋转参数和所述平移参数进行优化得到各检测帧的视觉旋转平移参数；根据所述惯导设备数据和所述视觉旋转平移参数对全景相机和惯导设备进行视觉惯性融合定位。本发明能够避免现有线性模型无法对超广角设备转换为透视图像，进而无法实现视觉和惯性设备融合定位的问题。技术研发人员：史文中,魏义涛,聂明炎受保护的技术使用者：卓宇智能科技有限公司技术研发日：技术公布日：2024/7/23