基于图优化几何一致性约束的视觉里程计位姿优化方法

本发明属于视觉里程计位姿优化领域，尤其涉及一种基于图优化几何一致性约束的视觉里程计位姿优化方法。

背景技术：

1、近年来，随着物联网相关应用的迅速发展，带动了基于位置的服务(lbs)的需求飞涨，这使得对场景的高精度实时定位方案的需求日益迫切。稳定、准确、实时的定位系统是实现诸如机器人控制、无人驾驶、虚拟现实(vr)和3d重建等物联网应用的重要保障。

2、尽管当前通过如全球定位系统(gps)、北斗卫星导航系统(bds)、伽利略卫星定位系统(galileo)以及格洛纳斯定位系统(glonass)的全球导航卫星系统(gnss)进行定位已经十分普及，但对于一些具有严重遮挡的室外环境(如隧道、森林等)或受建筑结构对于卫星信号的屏蔽与干涉影响的室内场景，此时依靠卫星的定位极不准确。而利用视觉传感器的视觉里程计(vo)是解决以上问题的一种有效途径，其具备视觉输入信息量丰富、适用场景广泛、成本低、功耗小等诸多优点，是实现自主定位应用的常用手段。

3、然而，由于视觉里程计主要利用相邻采集时刻的图像输入来预测相机载体的帧间位姿变换，进而累积得到整体运动轨迹，因此会产生累计误差，从而导致轨迹估计随运动距离的增加而发散。因此能够有效地消除视觉里程计位姿预测的累积误差是实现高精度视觉里程计定位系统的关键。现阶段，缓解视觉里程计累积误差并提高位姿预测精度的常见方法有：1)构建相机载体运动的位姿图和回环检测，对预测位姿进行后端优化。如orb-slam定位系统基于对地标的共视原理，对定位系统预测轨迹进行局部和全局的优化。2)通过数据融合的方法，利用其他传感器观测信息修正视觉里程计定位系统。如视觉-惯性里程计(vio)即为结合惯性导航信息的自主定位系统，是消除视觉测量单元数据漂移的高精度定位系统。3)通过对连续图像序列数据进行时间维度上的运动关系性建模，用于优化位姿预测。如深度学习视觉里程计srnn模型就是通过构建相邻时刻位姿变换的相关性对预测位姿进行指导优化的系统方案。但是，第一种消除视觉里程计预测累积误差的方案具有一定的局限性，主要表现在对于环境场景的依赖性高，普适性较弱。例如对于真实的运动场景，可能缺少有效的地标点，且运动轨迹存在无法闭环的可能，因此位姿图优化和回环检测模块很可能失效。此外，第二种消除视觉里程计预测累积误差的方案也具有一定的限制，主要表现在当其他种类的传感器测量数据质量差时，会明显影响原本视觉里程计的预测精度，同时数据融合算法也会对最终的预测效果产生巨大的影响。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于图优化几何一致性约束的视觉里程计位姿优化方法解决了现有技术位姿优化与误差修正准确度和鲁棒性较差的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：一种基于图优化几何一致性约束的视觉里程计位姿优化方法，包括以下步骤：

3、s1、利用视觉传感器，获取图像数据；

4、s2、根据图像数据，利用编码器分别获取相邻图像帧对的高维度位姿特征和间隔图像帧对的高维度位姿特征；

5、s3、根据相邻图像帧对的高维度位姿特征和间隔图像帧对的高维度位姿特征，利用级联空洞卷积融合模块融合多尺度感受野下的像素运动线索，分别得到相邻图像帧对运动特征图和间隔图像帧对运动特征图；

6、s4、利用卷积神经网络和卷积长短时记忆网络分别对相邻图像帧对运动特征图和间隔图像帧对运动特征图进行位姿特征的局部上下文信息提取，得到带有上下文信息的相邻图像帧对位姿特征和带有上下文信息的间隔图像帧对位姿特征；

7、s5、利用图注意力神经网络分别对带有上下文信息的相邻图像帧对位姿特征和带有上下文信息的间隔图像帧对位姿特征进行几何一致性优化，得到优化后的相邻图像帧对位姿特征和优化后的间隔图像帧对位姿特征；

8、s6、根据优化后的相邻图像帧对位姿特征和优化后的间隔图像帧对位姿特征，利用位姿回归网络，分别得到相邻图像帧对位姿预测结果和间隔图像帧对位姿预测结果。

9、进一步地，所述步骤s3中级联空洞卷积融合模块包括三层串联的具有多尺度感受野的空洞卷积。

10、进一步地，所述步骤s3具体为：

11、s301、将相邻图像帧对的高维度位姿特征和间隔图像帧对的高维度位姿特征输入级联空洞卷积融合模块，提取不同尺度感受野下的运动特征，并将输入分别与三层空洞卷积的计算结果进行通道维度上的拼接，分别得到相邻图像位姿特征拼接结果和间隔图像位姿特征拼接结果；

12、s302、利用单层卷积网络层分别对相邻图像位姿特征拼接结果和间隔图像位姿特征拼接结果进行特征融合，得到相邻图像帧对运动特征图和间隔图像帧对运动特征图。

13、进一步地，所述步骤s4具体为：

14、s401、利用卷积神经网络分别对相邻图像帧对运动特征图和间隔图像帧对运动特征图进行高维特征提取，得到相邻图像帧对高维运动特征和间隔图像帧对高维运动特征；

15、s402、根据相邻图像帧对高维运动特征和间隔图像帧对高维运动特征，分别利用串联的两层卷积长短时记忆网络提取位姿特征的局部上下文信息，得到带有上下文信息的相邻图像帧对位姿特征和带有上下文信息的间隔图像帧对位姿特征。

16、进一步地，所述步骤s401中卷积神经网络包括串联的四层卷积网络层。

17、进一步地，所述步骤s402中位姿特征的局部上下文信息的表达式为：

18、

19、其中，a[t]为位姿特征的局部上下文信息；γo为运动的时序关系；为哈达玛积；tanh为双曲正切函数；c[t]为t时刻的神经元状态；σ()为sigmoid激活函数；wxo为输出门状态的权重；x[t]为t时刻的输入状态；wao为输出门状态对应隐藏单元的权重；a[t-1]为t-1时刻的隐藏单元状态；wco为输出门状态对应神经元状态的权重；bo为输出门状态对应的偏置；γu为长短时记忆网络当前时刻的输入门状态；wxc为输入数据候选信息的权重；wac为输入数据候选信息对应隐藏单元的权重；bc为输入数据候选信息对应的偏置；γf为当前时刻的遗忘门状态；c[t-1]为t-1时刻的神经元状态；wxf为遗忘门状态的权重；waf为遗忘门状态对应隐藏单元的权重；wcf为遗忘门状态对应神经元状态的权重；bf为遗忘门状态对应的偏置；wxu为输入数据的权重；wau为输入数据对应隐藏单元的权重；wcu为输入数据对应神经元状态的权重；bu为输入数据对应的偏置。

20、进一步地，所述步骤s5具体为：

21、s501、将优化后的相邻图像帧对位姿特征和优化后的间隔图像帧对位姿特征映射为节点特征的查询向量、键值向量和值向量，得到相邻与间隔帧对运动特征节点；

22、s502、根据相邻与间隔帧对运动特征节点，利用基于transformer模型的多头注意力机制计算相邻与间隔帧对运动特征消息；

23、s503、根据相邻与间隔帧对运动特征消息，进行相邻与间隔帧对运动特征节点更新，得到更新后的相邻与间隔帧对运动特征节点；所述相邻与间隔帧对运动特征节点更新基于迭代实现：

24、

25、其中，为更新后的相邻帧对运动特征节点；l为迭代次数；为更新前的相邻帧对运动特征节点；||为特征拼接；mlp()为多层感知器；为相邻帧对运动特征消息；为更新后的间隔帧对运动特征节点；为更新前的间隔帧对运动特征节点；为间隔帧对运动特征消息。

26、进一步地，所述步骤501中相邻与间隔帧对运动特征节点的表达式为：

27、

28、其中，为相邻与间隔帧对运动特征节点的查询向量；为相邻与间隔帧对运动特征节点；为相邻帧对运动特征节点；为间隔帧对运动特征节点；w1s、和w3s均为相邻与间隔帧对运动特征权重；和均为相邻与间隔帧对运动特征偏置；为相邻与间隔帧对运动特征节点的值向量；为相邻与间隔帧对运动特征节点的键值向量。

29、进一步地，所述步骤502中相邻与间隔帧对运动特征消息包括相邻帧对运动特征消息和间隔帧对运动特征消息：

30、

31、其中，为相邻帧对运动特征消息；convld(·)为一层一维的特征融合卷积网络；h为注意力机制头编号；h为注意力机制头总数；i为相邻帧对运动特征节点的时间索引；j为间隔帧对运动特征节点的时间索引；ε为边集合；为第h个注意力机制头基于相邻帧对运动特征节点计算得到的归一化注意力系数；为第j个间隔帧对运动特征节点的值输入第h个注意力机制头的分量；为间隔帧对运动特征消息；为第h个注意力机制头基于间隔帧对运动特征节点计算得到的归一化注意力系数；viah为第i个相邻帧对运动特征节点的值输入第h个注意力机制头的分量；softmax()为激活函数；为第i个相邻帧对运动特征节点的查询向量输入第h个注意力机制头的分量；为第j个间隔帧对运动特征节点的键值向量输入第h个注意力机制头的分量；t为转置；为第j个间隔帧对运动特征节点的查询向量输入第h个注意力机制头的分量；为第i个相邻帧对运动特征节点的键值向量输入第h个注意力机制头的分量。

32、进一步地，所述步骤s6中位姿回归网络包括依次连接的两层卷积网络层和一层全局均值池化层。

33、本发明的有益效果为：本发明基于序列化图像数据输入，同时考虑相邻和间隔图像帧的共视关系，利用几何一致性约束实现位姿优化和修正；可以通过共视点的几何关系来指导运动特征的优化策略，从而保持位姿的几何一致性，实现高精度位姿估计；基于级联空洞卷积融合模块来充分处理不同的像素位移，使模型充分挖掘潜在的空间运动特征，实现高鲁棒的视觉里程计模型。