基于动态特征紧耦合的单目视觉惯性里程计方法

本发明属于slam领域，特别涉及一种基于动态特征融合的单目视觉惯性里程计方法，可用于复杂动态环境中无人机、汽车等运动平台的自主定位。

背景技术：

1、相比于传统的视觉或惯性导航系统，视觉惯性里程计在处理视觉信息受限或惯性数据噪声大的情况下表现出显著优势，视觉惯性里程计的主要任务是结合图像处理技术与惯性测量单元，在复杂环境中实现高精度的导航和定位。单目视觉惯性里程计采用单目相机作为视觉传感器，是最轻量的视觉惯性里程计。现有的惯性视觉里程计在高动态环境下仍然存在定位精度和系统鲁棒性方面的挑战，特别是在存在大量动态元素的场景中，传统的多视图几何约束可能导致重大误差，使得准确地分离和处理动态元素成为关键问题。

2、视觉惯性里程计方法的基本思路是，通过结合视觉传感器和惯性测量单元的数据，利用图像处理和多视图几何约束来估计相机的运动轨迹和环境结构，例如申请公布号为cn117109565a，名称为“基于动态线特征筛选的视觉惯性里程计方法”的专利申请，公开了一种基于动态线特征筛选的视觉惯性里程计方法，该发明通过光流计算线特征在图像帧间的运动，结合语义分割识别动态物体，计算线特征重投影误差，并根据其跟踪次数赋予权重。该发明利用imu预积分信息和线特征投影误差执行紧耦合滑动窗口优化，实现最优位姿估计，但其在动态物体可能会占据大部分视野的复杂场景中，所提取的特征不完整或不准确，影响里程计的定位精度。

技术实现思路

1、本发明的目的是针对上述现有技术的不足，提出一种基于动态特征紧耦合的单目视觉惯性里程计方法，用于解决现有技术中存在的定位精度较低的技术问题。

2、为实现上述目的，本发明采取的技术方案包括如下步骤：

3、(1)初始化单目视觉惯性里程计及相关参数：

4、初始化安装在运动平台上的单目视觉惯性里程计包括视觉传感器和惯性传感器imu，惯性传感器由偏置分别为u、y的加速度计、陀螺仪组成，imu与运动平台的内参为t，基于滑动窗口的非线性优化问题中，包含滑窗中n个在imu坐标系下优化的位姿w＝{w1,l,wn,l,wn}，wn表示滑窗中第n个在imu坐标系下优化的位姿；

5、(2)获取图像帧的观测值：

6、通过视觉传感器获取对包括l个静态观测点和j个动态观测点的共h个观测点p＝{p1,p2,...,ph,...,ph}拍摄的k帧图像i＝{i1,i2,...,ik,...,ik}，并对每帧图像ik进行特征提取，得到第h个观测点ph的二维观测值其中，h≥150，k≥3，第l个静态观测点为pl；

7、(3)对动态观测点进行识别：

8、通过每帧图像及其相邻的图像帧以及在ik+1的重投影构建ph在相邻图像帧ik和ik+1间的运动趋势向量以及相对于视觉传感器在图像平面上的运动趋势向量并通过和对每个观测点ph进行识别，得到j个动态观测点pt＝{p1,p2,...,pj,...,pj}，其中，pj表示第j个动态观测点；

9、(4)构造动态特征残差：

10、对第j个动态观测点pj在相邻图像帧ik和ik+1上的观测过程构造动态特征单元dfcj，并通过pj在相邻图像帧ik和ik+1上的二维观测值和计算dfcj的动态特征残差

11、(5)对动态特征残差与单目vio系统残差进行紧耦合：

12、对j个动态观测点pt动态特征单元的动态特征残差与单目vio系统残差evio进行紧耦合，以构造基于滑动窗口的非线性优化问题：

13、

14、其中，x表示滑动窗口中优化的单目vio系统状态向量；

15、(6)获取单目视觉惯性里程计结果：

16、对非线性优化问题进行求解，得到优化后imu的位姿wn，并通过wn计算运动平台的位姿wn：

17、wn＝twn

18、本发明与现有技术相比，具有以下优点：

19、1.本发明通过对每个动态观测点的动态特征单元的动态特征残差与单目vio系统残差进行紧耦合，以构造基于滑动窗口的非线性优化问题并对其进行求解，得到运动平台的位姿，通过充分利用动态特征信息，从而提高单目vio系统在动态场景下的定位精度。

20、2.本发明针对单目视觉惯性里程计系统提出了轻量高效的动态特征识别方法，充分提取了动态特征信息，在动态特征充斥视野的复杂高动态场景中，仍然可以提取相对准确的动态特征信息，为动态特征残差与单目vio系统残差提供有效的输入，从而提高单目vio系统在动态场景下的定位精度。

技术特征：

1.一种基于动态特征紧耦合的单目视觉惯性里程计方法，其特征在于，包括如下步骤：

2.根据权利要求1所述方法，其特征在于，步骤(3)中所述的并通过和对每个观测ph点进行识别，其中每个观测点ph在相邻图像帧ik和ik+1间被识别为动态的充分必要条件为：

3.根据权利要求1所述方法，其特征在于，步骤(4)中所述的dfcj的动态特征残差计算公式为：

4.根据权利要求1所述方法，其特征在于，步骤(5)中所述的滑动窗口中优化的单目vio系统状态向量包括世界坐标系下imu在滑窗中n个状态量，其表达式为：

技术总结本发明提出了一种基于动态特征紧耦合的单目视觉惯性里程计方法，实现步骤是：初始化单目视觉惯性里程计及相关参数；获取图像帧的观测值；对动态观测点进行识别；构造动态特征残差；对动态特征残差与单目VIO系统残差进行紧耦合；获取单目视觉惯性里程计结果。本发明通过充分准确提取动态特征，并对每个动态观测点的动态特征单元的动态特征残差与单目VIO系统残差进行紧耦合，从而充分利用动态信息，从而提高单目VIO系统在动态场景下的定位精度，具有较高的实用价值和应用前景。技术研发人员：罗楠,胡哲煊,王义峰,万波,赵辉,刘刚,刘锦辉,王笛,李嘉煦,丁源,胡道汝受保护的技术使用者：西安电子科技大学技术研发日：技术公布日：2024/9/17