一种基于模糊图像的室内视觉定位系统及方法与流程

本发明涉及图像处理，具体涉及一种基于模糊图像的室内视觉定位系统及方法。

背景技术：

1、随着智能网络设备和物联网技术的高速发展，人们对于室内定位的精度和效率需求不断增加。室内定位技术在导航和位置服务、商场销售、工业制造等领域具有广泛的应用前景，目前由于室内环境的复杂性，图像可能会受到多种因素的影响而失真，其中最常见的是图像模糊。图像模糊是由于拍摄时相机或物体的运动导致图像中的细节模糊不清。模糊图像会对特征提取和匹配过程、位姿估计过程产生负面影响，降低定位精度。

技术实现思路

1、本发明的目的是提供一种基于模糊图像的室内视觉定位系统及方法，以解决背景技术中不足。

2、为了实现上述目的，本发明提供如下技术方案：一种基于模糊图像的室内视觉定位方法，设置离线阶段的步骤包括：

3、设置多个参照点，基于参照点位置采集多个图像作为数据库图像；

4、使用superpoint算法及netvlad算法对数据库图像的特征进行提取作为数据库图像特征信息并保存；

5、基于参照点获取数据库图像的位姿标签并对应数据库图像进行储存得到离线数据库；

6、设置在线阶段的步骤包括：

7、确定查询图像，基于模糊程度模型bdm判断查询图像是否为模糊图像，若查询图像为模糊图像，则使用图像恢复网络对模糊图像进行恢复得到恢复图像；

8、基于superpoint算法对恢复图像进行特征提取得到恢复图像特征信息，基于离线数据库对特征信息使用检索算法进行近邻检索；

9、通过superglue算法、图像对和superpoint特征信息进行特征匹配建立查询图像与数据库图像的2d-2d匹配信息；

10、将数据库及查询图像和所有特征提取及匹配信息使用对极几何五点法进行最终定位工作。

11、在一个优选的实施方式中，所述设置多个参照点，基于参照点位置采集多个图像作为数据库图像的步骤，包括：

12、获取待图像采集的室内空间信息，其中，室内空间信息包括室内空间结构以及对应的空间尺寸；

13、在室内空间中设置多个参照点，对应参照点划分对应的参照空间，得到多个参照区；

14、基于参照点位置在参照区采集多个图像作为数据库图像。

15、在一个优选的实施方式中，所述基于参照点获取数据库图像的位姿标签并对应数据库图像进行储存得到离线数据库的步骤，包括：

16、在参照区中将参照点作为原点建立坐标系，将参照区中的数据库图像根据参照点得到图像的位姿；

17、将位姿与对应的图像进行信息绑定，位姿作为图像的位姿标签；

18、将位姿标签与对应的图像以及对应的数据库图像特征信息进行储存作为离线数据库。

19、在一个优选的实施方式中，所述将位姿标签与对应的图像以及对应的数据库图像特征信息进行储存作为离线数据库的步骤，包括：

20、对应参照区的数量设置对应数量的储存仓，对应储存仓设置更新仓；

21、获取参照区之间的位置关系，基于位置关系对储存仓进行联通并建立储存仓的参照区模型进行位置排列，基于视线通道与参照点将参照区对应的储存仓进行空间关联；

22、提取所有参照区中的图像特征，将图像特征与对应的参照区之间进行信息绑定作为第一匹配区；

23、划分具有空间关联的储存仓中的空间得到多个关联空间，将图像特征与关联空间进行信息绑定作为第二匹配区；

24、将第一匹配区与第二匹配区中的图像特征作为匹配标签，第一匹配区、第二匹配区与对应的匹配标签作为数据库图像特征信息；

25、将位姿标签与对应的图像以及对应的数据库图像特征信息进行储存作为离线数据库。

26、在一个优选的实施方式中，所述确定查询图像，基于模糊程度模型bdm判断查询图像是否为模糊图像，若查询图像为模糊图像，则使用图像恢复网络对模糊图像进行恢复得到恢复图像的步骤，包括：

27、基于模糊程度模型bdm对查询图像进行模糊判断，公式为：

28、，

29、其中，和分别表示图像的高度和宽度，和分别表示方向和方向上图像的梯度，表示方向和方向上梯度图中梯度值的个数之和，表示像素的坐标，表示方向和方向上梯度图中非零梯度值的个数之和；

30、若某张查询图片的bdm>t，则认定其为清晰图像，无需进行去模糊操作；

31、若其bdm<= t，则认定其为模糊图像，则使用图像恢复网络对模糊图像进行恢复得到恢复图像。

32、在一个优选的实施方式中，所述基于superpoint算法对恢复图像进行特征提取得到恢复图像特征信息，基于离线数据库对特征信息使用检索算法进行近邻检索的步骤，包括：

33、基于superpoint算法对恢复图像进行特征提取得到恢复图像特征信息；

34、将patch-netvlad图像检索模型基于离线数据库中位姿标签在第一匹配区与第二匹配区通过原始的netvlad描述子计算图像对之间的相似度评分得到空间和外观一致性，得到给定恢复图像的前k张相似图像；

35、在不同尺度上获取前k张相似图像的块描述子，在前k张相似图像之间进行块描述子的局部交叉匹配，得到匹配分数，根据匹配分数对初始的匹配集合进行重新排序；

36、基于patch-netvlad图像检索模型从检索到的最相似的图像开始，迭代地选择检索图像，得到最终的k组查询-数据库图像对。

37、在一个优选的实施方式中，所述将数据库及查询图像和所有特征提取及匹配信息使用对极几何五点法进行最终定位工作的步骤，包括：

38、获取恢复图像在数据库图像的绝对位姿和本质矩阵信息；

39、获取恢复图像的d个近邻图像对以及所有图像提取的特征信息和图像对的特征匹配信息；

40、依次遍历所有的图像对，得到每个图像对相对位姿的本质矩阵，通过对极几何五点法进行求解；

41、通过svd对本质矩阵进行分解，得到四个相对位姿，分别是，，，，其中和可以通过绕基线旋转进行转换，基于数据库图像的绝对位姿和图像对的相对位姿通过三角测量来估计恢复图像的位置完成最终定位工作。

42、本发明还提供一种基于模糊图像的室内视觉定位系统，包括：

43、第一特征提取模块，用于设置多个参照点，基于参照点位置采集多个图像作为数据库图像；

44、数据库存储模块，与特征提取模块连接，用于使用superpoint算法及netvlad算法对数据库图像的特征进行提取作为数据库图像特征信息并保存；

45、基于参照点获取数据库图像的位姿标签并对应数据库图像进行储存得到离线数据库；

46、图像去模糊模块，用于确定查询图像，基于模糊程度模型bdm判断查询图像是否为模糊图像，若查询图像为模糊图像，则使用图像恢复网络对模糊图像进行恢复得到恢复图像；

47、第二特征提取模块，用于基于superpoint算法对恢复图像进行特征提取得到恢复图像特征信息，基于离线数据库对特征信息使用检索算法进行近邻检索；

48、图像检索模块，用于通过superglue算法、图像对和superpoint特征信息进行特征匹配建立查询图像与数据库图像的2d-2d匹配信息；

49、室内定位模块，用于将数据库及查询图像和所有特征提取及匹配信息使用对极几何五点法进行最终定位工作。

50、在上述技术方案中，本发明提供的技术效果和优点：

51、1、本发明基于superpoint算法及netvlad算法对数据图像和查询图像进行特征提取，netvlad特征用于图像检索，superpoint特征用于对极几何五点法定位，充分发挥netvlad算法快速、检索效率高以及superpoint算法准确性高、鲁棒性强的优势，提高了室内定位算法的整体性能；

52、2、本发明利用superpoint和superglue算法实现了绝对位姿估计和相对位姿估计，得到了精确的定位结果，灵活且轻量级，不需要额外的输入信息和复杂的中间过程，并可以很容易地应用到新的场景中；

53、3、本发明能够更好的对空间位置进行多区域划分，得到多个匹配区，进而能够提高匹配图像特征信息确定图像位姿的效率，大大提高对图像的定位效率以及准确度。