一种位姿优化方法及电子设备与流程

本技术涉及计算机视觉，尤其涉及一种位姿优化方法及电子设备。

背景技术：

1、目前，可以通过摄像头采集的不同时刻图像中相同特征点计算电子设备的位姿。该方法中，特征点跟踪的稳定性极其重要。特别是在快速运动场合下，受制于摄像头视野的局限，很容易出现连续帧之间没有共视区而导致特征点跟踪丢失的情况。从而影响位姿估计的准确性和稳定性，导致设备的定位异常，极大影响了用户体验。

2、现有技术中，还可以通过惯性单元imu估计电子设备的位姿，但是imu估计的位姿有累计误差。因此，亟待一种位姿优化方法，用以提升位姿估计的准确性和稳定性。

技术实现思路

1、本技术实施例提供一种位姿优化方法及电子设备，可以对电子设备的位姿进行优化，提升位姿估计的准确性和稳定性。

2、为达到上述目的，本技术的实施例采用如下技术方案：

3、第一方面，提供了一种位姿优化方法，该方法可以应用于电子设备，该电子设备包括主摄镜头、广角镜头和惯性测量单元，该方法包括：电子设备通过惯性测量单元imu采集电子设备的惯性位姿，通过主摄镜头采集第一图像，通过广角镜头采集第二图像。电子设备对第一图像的第一特征点与第二图像的第二特征点进行匹配，得到图像特征点匹配结果；其中，第一特征点由第一图像进行特征提取得到，第二特征点由第二图像进行特征提取得到，图像特征点匹配结果用于关联第一图像和第二图像中相匹配的特征点。电子设备对各时刻采集的多帧第二图像中的第二特征点进行跟踪，得到各时刻的第二图像的特征跟踪信息；其中，特征点跟踪信息用于关联第二图像中相同的特征点。电子设备基于各时刻采集的第一图像和第二图像，以及图像特征点匹配结果和特征跟踪信息，计算得到各时刻第一图像和第二图像中特征点的深度信息。电子设备根据深度信息计算得到电子设备的相机位姿，基于预设约束关系采用相机位姿对惯性位姿进行优化，得到优化后电子设备的惯性位姿；其中，基于预设约束关系转换相机坐标系中的相机位姿得到的惯性坐标系中的惯性位姿，与电子设备的惯性位姿相同。

4、通过采用该技术方案，可以利用电子设备的广角镜头进行视觉追踪，利用广角镜头和主摄镜头对拍摄物进行双目深度恢复，然后通过相机位姿与惯性位姿之间的约束关系对惯性位姿进行优化，得到优化后的电子设备的惯性位姿，提升了位姿估计的准确性和稳定性，进而对当前位置做出更加准确的判断，提升电子设备的定位效果。

5、其中，上述约束关系包括：a.电子设备中同时存在imu和相机cam，电子设备运动时，两者位姿之间存在着坐标系转换，在经过位姿转换后，imu位姿和cam位姿理应相同。b.两个时刻的cam输出图像的共视区中的特征点，由上一时刻的图像转换到本时刻的图像中时，特征点的位置理应相同。

6、也就是说，上述约束关系可以包括视觉约束和imu约束。在视觉约束和imu约束中，通过找到优化状态向量，然后通过视觉残差(也即重投影误差)和imu测量残差分别对状态向量求导，得到优化后的状态向量。

7、在一种可能的实现方式中，上述对第一图像的特征点与第二图像的特征点进行匹配，得到图像特征点匹配结果，包括：采用预设特征提取方法提取第一图像的第一特征点与第二图像的第二特征点；通过描述子匹配的方式对第一特征点与第二特征点进行特征匹配，从第二特征点中确定与第一特征点匹配的特征点。

8、在一种可能的实现方式中，上述通过描述子匹配的方式对第一特征点与第二特征点进行特征匹配，从第二特征点中确定与第一特征点匹配的特征点，包括：采用四叉树方法对第一特征点与第二特征点进行稀疏化处理，得到稀疏化后的第一特征点与稀疏化后的第二特征点；通过描述子匹配的方式对稀疏化后的第一特征点与稀疏化后的第二特征点进行特征匹配，从稀疏化后的第二特征点中确定与稀疏化后的第一特征点匹配的特征点。对提取的特征点进行稀疏化处理后，再进行特征点匹配，可以实现特征点均匀分布，提升图像处理的精度和速度。

9、在一种可能的实现方式中，上述通过描述子匹配的方式对第一特征点与第二特征点进行特征匹配，从第二特征点中确定与第一特征点匹配的特征点，包括：获取第一特征点的第一描述子与第二特征点的第二描述子；分别计算每个第二描述子与第一描述子的汉明距离，确定与第一描述子的汉明距离最小的第二描述子对应的第二特征点，为第一特征点匹配的特征点。

10、在一种可能的实现方式中，上述对各时刻采集的多帧第二图像中的第二特征点进行跟踪，得到第二图像在各时刻的特征跟踪信息，包括：通过光流法对各时刻采集的多帧第二图像中的第二特征点进行跟踪，得到各时刻的第二图像的特征跟踪信息。本方案中，通过广角镜头采集的第二图像进行特征点跟踪，由于广角镜头的视野比较广，可以减小特征点丢失的概率。

11、在一种可能的实现方式中，上述通过惯性测量单元采集电子设备的惯性位姿，包括：通过惯性测量单元测量电子设备在相邻时刻的惯性数据，对惯性数据进行预积分处理，得到惯性位姿。

12、在一种可能的实现方式中，上述基于预设约束关系采用相机位姿对惯性位姿进行优化，得到优化后电子设备的惯性位姿，包括：计算相邻时刻的第二图像之间的重投影误差，利用预设优化算法对重投影误差进行非线性优化，得到优化后的惯性位姿。

13、在一种可能的实现方式中，上述计算相邻时刻的第二图像之间的重投影误差，包括：获取第i帧图像的特征点投影到第j帧图像对应的相机坐标系下的投影坐标值，与第i帧图像的特征点在第j帧图像对应的相机坐标系下对应的测量坐标值，其中，第i帧图像与第j帧图像为相邻时刻的第二图像，测量坐标值根据第二图像的特征跟踪信息计算得到，投影坐标值根据惯性位姿得到；根据投影坐标值与测量坐标值的差值计算相邻时刻的第二图像之间的重投影误差。

14、在一种可能的实现方式中，上述方法还包括：计算相邻时刻之间的惯性数据的预积分残差，利用预设优化算法对预积分残差进行非线性优化，得到优化后的惯性测量单元的状态量。其中，以优化后的状态量参与后续计算，可以减少对惯性测量单元在传递过程中的误差。

15、第二方面，本技术提供一种移动终端，该移动终端包括：充电接口、电池、存储器和一个或多个处理器；充电接口、电池、存储器与处理器耦合；其中，存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被处理器执行时，使得移动终端执行上述第一方面中任一项所述的位姿优化方法。

16、第三方面，本技术提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的位姿优化方法。

17、第四方面，本技术提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的位姿优化方法。

18、可以理解地，上述提供的第二方面所述的移动终端，以及第三方面所述的计算机可读存储介质及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。