一种基于ORB描述算子增强的SLAM方法、装置及介质

本发明涉及计算机视觉，尤其是涉及一种基于orb描述算子增强的slam方法、装置及介质。

背景技术：

1、从图像中提取稀疏的关键点或局部特征是计算机视觉任务中不可或缺的一部分。这些任务包括从运动中提取结构(sfm)、同时定位和建图(slam)以及视觉定位等。关键点的匹配在不同图像上起着重要作用，而特征描述算子则用于表示这些匹配。特征描述算子可以是实值描述符或二进制描述符。

2、早期的描述算子通常是手工制作的，但随着机器学习和深度学习的发展，基于学习的描述算子变得越来越受欢迎。例如，superpoint是一种经过训练的描述算子，已经在各种计算机视觉任务中表现出优秀的性能。与手工制作的描述算子相比，基于深度学习的描述算子能够更好地适应不同图像上的关键点匹配，并且在处理具有挑战性情况下能够取得更好的效果。然而，由于描述算子已经集成到实际系统中，用全新的描述算子替换它们可能会面临一些问题。首先，新的描述算子可能需要更多的计算能力，可能超出了现有硬件的支持范围。其次，由于描述算子类型发生了变化，可能需要对框架代码进行大量修改，以适应新的描述算子类型。并且，传统的特征匹配方法通常只考虑关键点的局部几何属性和视觉描述算子，而忽略了图像中其他关键点的信息以及关键点自身的几何和色相信息，所以在匹配过程中，仍然生成无视几何和色相信息的匹配关系。

技术实现思路

1、本发明的目的是为了提供一种基于orb描述算子增强的slam方法、装置及介质，提出一种轻量级神经网络模型来提升orb描述算子的性能，尽可能少地增加计算开销，并充分利用现有的描述算子，提高匹配的准确性和鲁棒性。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于orb描述算子增强的slam方法，包括以下步骤：

4、s1，获取相邻图像序列，对图像进行单应性变换并转换到hls色彩空间；

5、s2，利用三维重建中的orb特征提取算法提取图像特征点及其对应的特征描述算子；

6、s3，利用描述算子增强网络对提取出的特征描述算子进行自增强和互增强处理；

7、s4，利用增强后的特征描述算子进行相邻帧的特征点匹配，基于匹配得到的特征点对执行slam任务，实现对环境的感知和定位。

8、所述步骤s1包括以下步骤：

9、s11，利用单应变换矩阵h将图像在第一视平面上的点投影到第二视平面上，所述单应变换矩阵h为3x3的齐次矩阵；

10、s12，将经过单应性变换的图像从rgb空间转换到hls空间：

11、设图像rgb的颜色表示为(lr,lg,lb)，记lmax为lr、lg和lb中的最大值，lmin为lr、lg和lb中的最小值，lr、lg、lb的取值区间为[0,1]；

12、1)计算亮度l：

13、l＝(lmax+lmin)/2

14、当lmax＝lmin时，lmax＝lr＝lg＝lb＝lmin，表明颜色为灰色，此时s＝0，h不表示任何颜色；

15、2)计算饱和度s：

16、若亮度l≤0.5，则s＝(lmax-lmin)/(lmax+lmin)；

17、当亮度l＞0.5，则s＝(lmax-lmin)/(2-lmax-lmin)；

18、3)计算色调h：

19、当lmax＝lr时，h＝60×(lg-lb)/(lmax+lmin)，颜色处于黄色和品红之间；

20、当lmax＝lg时，h＝120+60×(lg-lb)/(lmax+lmin)，颜色处于青色和黄色之间；

21、当lmax＝lb时，h＝240+60×(lg-lb)/(lmax+lmin)，颜色处于品红和青色之间；

22、若色调h的计算结果为负值，则在原计算结果的基础上加360作为最终的色调。

23、所述步骤s2包括以下步骤：

24、s21，特征提取：基于特征提取算法提取图像的特征点和对应的特征描述算子；

25、s22，图像对匹配：基于穷尽匹配、序列匹配、空间匹配和传递性匹配从不同角度确定图像间的对应关系，基于匹配结果建立图像对，所述图像对包括一个参考图像和一个目标图像；

26、s23，对匹配的图像对中的特征点进行匹配：基于kd树的最近邻查找算法，计算特征点的描述符向量之间的距离或相似度进行特征点匹配；

27、s24，基于几何校验筛除误匹配的特征点；

28、s25，进行图像稀疏重构和增量式重构，估计相机位姿并重建场景的稀疏表示；

29、s26，基于相机位姿和场景的稀疏表示，生成深度图和法向图，进行稠密重建，得到每张图像的深度图片；

30、s27，将每张图像的相机位姿按照时间戳保存为轨迹真值，作为每次训练增强描述算子的参考伪真值。

31、所述特征描述算子用于表征图像的特征信息，图像的特征信息包括特征点的独立信息和集合信息，所述独立信息包括全局几何信息和特征点的表征信息，所述集合信息包括特征点集的相对位置关系，所述描述算子增强网络包括基于表征信息的特征自增强网络和基于特征点集的特征互增强网络。

32、所述特征自增强网络基于mlp模型将几何信息、特征信息和表征信息融合到提取的特征描述算子中，对描述算子进行增强：

33、

34、

35、其中，di表示步骤s2提取的特征描述算子，mlpdesc表示特征信息的mlp模型，表示增强后的描述算子，mlpgeo表示几何信息的mlp模型，pi＝(xi,yi,ci,θi)表示关键点i的所有可用几何信息，mlphl表示表征信息的mlp模型，qi＝(hi,li,si)表示关键点i的所有表征信息，通过使用mlpgeo和mlphl(pi)将描述算子的全局几何信息和表征信息映射到高维空间中。

36、所述特征互增强网络基于transformer模型捕获从同一图像中提取的稀疏局部特征的空间上下文线索，表示为：

37、

38、其中，trans表示transformer操作，表示增强后的描述算子；

39、transformer模型采用aft网络，其输入是同一图像内的n个局部特征，输出为特征空间互增强的特征描述算子

40、所述描述算子增强网络的损失函数表示为：

41、

42、其中，表示特征最大化平均精度损失函数，表示描述算子提升损失函数，λ是调节描述算子提升损失函数的权值；

43、

44、

45、其中，表示增强后的描述算子，di表示提取的原始特征描述算子，ap表示平均精度，n表示描述算子数量。

46、所述描述算子增强网络的损失函数中每个描述算子的平均精度基于可微分方法fastap计算得到：

47、给定第一个图像中变换后的特征dtr和第二个图像中的特征集fastap通过使用匹配对m＝{m+,m-}的基本真实标签计算成对距离向量z∈rn和值域ω；通过距离量化将值域ω量化为b个元素的有限集合ω＝{z1,z2,...zb}，将精度和召回率重新表述为欧式距离z的函数：

48、

49、其中，p(m+∣z<z)表示以z<z为条件的正匹配m+的先验分布，p(z<z|m+)表示z的累积分布函数；

50、用精度-召回率曲线面积表示平均精度：

51、

52、其中，利用地面的真实位姿和深度图获得匹配点m地面真值标签。

53、一种基于orb描述算子增强的slam装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

54、一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

55、与现有技术相比，本发明具有以下有益效果：

56、(1)本发明考虑特征点全局几何信息、自身表征信息以及与其它特征点的几何交互信息，提高系统的可靠性和鲁棒性。

57、(2)本发明构建一个复合损失函数，使得描述算子的平均精度更高，评价体系更完整。

58、(3)本发明引入特征增强网络，构建一个轻量级特征增强网络，系统能够充分利用图像中的全局上下文信息，同时它不会引入太多的计算负担，可以在实际应用中高效地运行。