低能见度图像匹配方法、装置、计算机设备及存储介质

本发明涉及数据处理领域，尤其涉及一种低能见度图像匹配方法、装置、计算机设备及存储介质。

背景技术：

1、随着无人机技术的发展与应用，其在灾后救援，地形勘测，农业种植等方面已经发挥了重要作用。但环境的光线、能见度、昏暗等都会对搭载视觉传感器的无人机的拍摄造成干扰，使图像存在清晰度低，视线模糊的问题。图像匹配作为视觉slam(simultaneouslocalization and mapping)的起始环节，对完成视觉里程计，实现后续位姿的估计和跟踪有着重要的作用，因此提高无人机在低能见度环境下俯拍图像精度，确保有效特征点数量，提高算法鲁棒性对无人机在低能见度环境下的图像识别及后期应用具有积极意义。

2、造成能见度低的原因有很多，如夜晚或白天的雨、雪、雾等气象条件。在低能见度环境下，如雾天会使摄像头拍摄的图像出现不同程度的退化——部分图像特征点会被消除，这会对图像匹配造成严重影响。而在视觉slam中，初始化的图像匹配至关重要，它直接影响了后端优化、闭环检测和地图构建等环节。

3、现有方式中，在特征点提取与匹配算法方面，david提出了sift(scale-invariantfeature transform)算法（lowe dg. distinctive image features from scale-invariant keypoints [j].international journal of computer vision, 2004(2):43-57.），其具有很强的尺度不变性，但因梯度计算的复杂性，工作速度较慢。bay提出的surf(speeded up robust feature)算法（bay h.surf : speed up robust features[c]//european conference on computer vision.2006(6):33-45.）在sift算法的基础上进行了改进，使用盒子滤波器替代高斯滤波器，利用hessian矩阵检测极值提高了特征提取的效率。stefan等提出的brisk(binary robust invariant scalable keypoints)算法（lenteregger s , chil m , siegwart r y .brisk: binary robust invariantscalable keypoints[c]//international conference on computer vision.ieee, 2011(9):26-41.）使用agast(adaptive and generic corner detection based on theaccelerated segment test)算法提取角点，采用像素灰度值对比构建二进制描述子，提升了算法计算速度，但鲁棒性较差。tole等提出了daisy描述符算法（tola e, lepetit v,fua p. daisy: an efficient dense descriptor applied to wide-baseline stereo[j].pattern analysis and machine intelligence, ieee transactions on, 2010, 32(5):815-830.），采用环形描述符可以提高对环境的鲁棒性，更适合应用于无人机拍摄，在很大程度上提高了计算的速度。

4、发明人在实现本发明的过程中，意识到现有技术至少存在如下技术问题：针对低能见度环境中图像特征点匹配正确率下降问题，上述方案广泛应用随机采样一致，ransac剔除图像特征点误匹配。但传统ransac算法存在随机性和重复性等问题，导致匹配准确率和效率不高。

技术实现思路

1、本发明实施例提供一种低能见度图像匹配方法、装置、计算机设备和存储介质，以提高低能见度环境中图像匹配准确率和效率。

2、为了解决上述技术问题，本发明实施例提供一种低能见度图像匹配方法，包括：

3、获取待识别的低能见度图像，所述待识别的低能见度图像由无人机实时拍摄；

4、对所述待识别的低能见度图像进行图像特征点提取与匹配，得到图像特征点，并生成图像特征点对应的特征点描述符；

5、基于所述特征点描述符，使用分块法消除所述图像特征点中的误匹配的特征点，得到目标特征点；

6、基于所述目标特征点进行图片匹配，得到匹配结果。

7、可选地，对所述待识别的低能见度图像进行图像特征点提取与匹配，得到图像特征点包括：

8、采用盒子滤波器对所述待识别的低能见度图像进行特征点检测，盒子滤波器表达式如下：

9、

10、其中，dxx是图像上的点在x方向进行高斯二阶偏导卷积得到的近似值，dyy是图像上的点在y方向进行高斯二阶偏导卷积得到的近似值，dxy是图像上的点在xy方向进行高斯二阶偏导卷积得到的近似值，ω为加权系数。

11、可选地，所述生成图像特征点对应的特征点描述符包括：

12、计算像素点(u, v)8个方向的梯度为：

13、

14、 其中，用于判断括号内公式结果是否大于零，像素点(u, v)为所述待识别的低能见度图像中的任一像素点，o表示梯度的方向，o为1至8的正整数，i(u,v)表示图像原点和像素点(u,v)对角线图像块内所有像素值；

15、将梯度图像与具有不同卷积核的高斯函数做卷积：

16、

17、式中g∑表示不同的高斯尺度值∑的高斯核；

18、生成像素点(u, v)的向量：

19、；

20、结合多次高斯卷积得到局部描述符：

21、

22、式中，rm表示结构的层数，在此选择3层圆环结构，表示以像素点(u,v)为中心的结构中第j个同心圆环上第n个采样点的坐标。

23、可选地，所述基于所述特征点描述符，使用分块法消除所述图像特征点中的误匹配的特征点，得到目标特征点包括：

24、建立内点集οin并设定初始阈值p，迭代次数n，距离误差z；

25、将输入的所述待识别的低能见度图像划分为大小相同的四块区域；

26、判断四块区域的特征点数量，选择特征点数量多的三块区域，并在每一块区域随机挑选一对特征点，基于所述特征点描述符计算单应矩阵h(i)，得到变换模型q参数；

27、将剩下的区域作为第一验证集，将选取的三块区域作为第二验证集，计算第一验证集的特征点与变换模型q的距离误差，将符合变换模型q的内点放入内点集οin中并计算内点率pt1(i)；

28、将设定阈值与内点率进行比较，并根据比较结果对变换模型q的参数进行迭代更新，得到目标检测模型；

29、采用所述目标检测模型对所述图像特征点进行识别匹配，得到目标特征点。

30、可选地，所述计算第一验证集的特征点与变换模型q的距离误差包括：

31、采用仿射变换模型确定图像间平移和旋转关系：

32、

33、采用如下公式计算距离误差z：

34、

35、公式中hij表示六个参数代表对原始图像进行平移旋转，(x, y)表示原始图像坐标，表示待配准图像坐标。

36、为了解决上述技术问题，本发明实施例还提供一种低能见度图像匹配装置，包括：

37、图像获取模块，用于获取待识别的低能见度图像，所述待识别的低能见度图像由无人机实时拍摄；

38、特征点识别模块，用于对所述待识别的低能见度图像进行图像特征点提取与匹配，得到图像特征点，并生成图像特征点对应的特征点描述符；

39、误差消除模块，用于基于所述特征点描述符，使用分块法消除所述图像特征点中的误匹配的特征点，得到目标特征点；

40、图片匹配模块，用于基于所述目标特征点进行图片匹配，得到匹配结果。

41、可选地，所述特征点识别模块包括：

42、特征点检测单元，用于采用盒子滤波器对所述待识别的低能见度图像进行特征点检测，盒子滤波器表达式如下：

43、

44、其中，dxx是图像上的点在x方向进行高斯二阶偏导卷积得到的近似值，dyy是图像上的点在y方向进行高斯二阶偏导卷积得到的近似值，dxy是图像上的点在xy方向进行高斯二阶偏导卷积得到的近似值，ω为加权系数。

45、可选地，所述特征点识别模块还包括：

46、梯度计算单元，用于计算像素点(u, v) 8个方向的梯度为：

47、

48、其中，用于判断括号内公式结果是否大于零，像素点(u, v)为所述待识别的低能见度图像中的任一像素点，o表示梯度的方向，o为1至8的正整数；

49、卷积单元，用于将梯度图像与具有不同卷积核的高斯函数做卷积：

50、

51、式中g∑表示不同的高斯尺度值∑的高斯核；

52、向量生成单元，用于生成像素点(u, v)的向量：

53、；

54、描述符生成单元，用于结合多次高斯卷积得到局部描述符：

55、

56、式中，rm表示结构的层数，在此选择3层圆环结构，表示以像素点(u,v)为中心的结构中第j个同心圆环上第n个采样点的坐标。

57、可选地，所述误差消除模块包括：

58、内点集初始化单元，用于建立内点集οin并设定初始阈值p，迭代次数n，距离误差z；

59、分块单元，用于将输入的所述待识别的低能见度图像划分为大小相同的四块区域；

60、参数计算单元，用于判断四块区域的特征点数量，选择特征点数量多的三块区域，并在每一块区域随机挑选一对特征点，基于所述特征点描述符计算单应矩阵h(i)，得到变换模型q参数；

61、内点更新单元，用于将剩下的区域作为第一验证集，将选取的三块区域作为第二验证集，计算第一验证集的特征点与变换模型q的距离误差，将符合变换模型q的内点放入内点集οin中并计算内点率pt1(i)；

62、参数迭代训练单元，用于将设定阈值与内点率进行比较，并根据比较结果对变换模型q的参数进行迭代更新，得到目标检测模型；

63、目标匹配单元，用于采用所述目标检测模型对所述图像特征点进行识别匹配，得到目标特征点。

64、为了解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述低能见度图像匹配方法的步骤。

65、为了解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述低能见度图像匹配方法的步骤。

66、本发明实施例提供的低能见度图像匹配方法、装置、计算机设备及存储介质，通过获取待识别的低能见度图像，待识别的低能见度图像由无人机实时拍摄；对待识别的低能见度图像进行图像特征点提取与匹配，得到图像特征点，并生成图像特征点对应的特征点描述符；基于特征点描述符，使用分块法消除图像特征点中的误匹配的特征点，得到目标特征点；基于目标特征点进行图片匹配，得到匹配结果。通过采用分块法，对特征点进行选取验证，避免选择错误特征点从而得到错误单应矩阵的问题，提高了低能见度图像匹配的准确性和效率。