图像匹配方法、装置、存储介质及电子设备与流程

本公开涉及图像处理，具体地，涉及一种图像匹配方法、装置、存储介质及电子设备。

背景技术：

1、图像匹配技术广泛应用于日常生活中的诸多领域，通过图像匹配技术可以进行视觉导航、图像拼接、三维重建、视觉定位、场景深度计算、目标检测跟踪等任务，在无人机业务中，图像匹配主要用于无人机的视觉定位。

2、传统的图像匹配方法例如sift(scale-invariant feature transform，尺度不变特征变换)、surf(speededuprobustfeatures，加速稳健特征)、orb(oriented fast androtated brief，定向快速旋转简报)等，都是基于几何特征进行匹配处理，容易受到光照、视角变化等影响，导致图像匹配的准确率比较低。因此，如何提高图像匹配的准确率成为亟待解决的问题。

技术实现思路

1、为了解决上述问题，本公开提供一种图像匹配方法、装置、存储介质及电子设备。

2、第一方面，本公开提供一种图像匹配方法，包括：

3、将待匹配的目标图像输入第一网络模型，以获取所述第一网络模型输出的目标图像特征；

4、根据所述目标图像特征，确定所述目标图像与预设图像是否匹配；

5、其中，所述第一网络模型通过样本图像和所述样本图像对应的聚合图像特征训练得到，所述聚合图像特征通过所述样本图像在不同旋转角度的图像特征得到。

6、可选地，在所述将待匹配的目标图像输入第一网络模型之前，还包括：

7、根据所述样本图像的样本图像特征对目标神经网络模型进行训练，得到所述第一网络模型，所述样本图像特征包括所述聚合图像特征和预估图像特征，所述预估图像特征为通过所述目标神经网络获取的所述样本图像的图像特征。

8、可选地，所述根据所述样本图像的样本图像特征对目标神经网络模型进行训练，得到所述第一网络模型包括：

9、根据所述样本图像，循环执行模型训练步骤，直至确定训练后的目标神经网络模型满足预设停止迭代条件，将训练后的目标神经网络模型作为所述第一网络模型；

10、所述模型训练步骤包括：

11、将所述样本图像输入所述目标神经网络模型，以获取所述预估图像特征；

12、获取所述样本图像对应的聚合图像特征；

13、根据所述预估图像特征和所述聚合图像特征，确定目标损失值；

14、在根据所述目标损失值确定所述目标神经网络模型不满足所述预设停止迭代条件的情况下，根据所述目标损失值，更新所述目标神经网络模型的参数，得到训练后的目标神经网络模型。

15、可选地，所述获取所述样本图像对应的聚合图像特征包括：

16、按照预设旋转方向和/或多个预设旋转角度对所述样本图像进行旋转，得到所述样本图像对应的多个旋转图像；

17、将所述多个旋转图像输入预设的第二网络模型，以获取所述聚合图像特征。

18、可选地，所述第二网络模型包括多个特征提取子网络，不同特征提取子网络对应不同的预设旋转角度，所述将所述多个旋转图像输入预设的第二网络模型，以获取所述聚合图像特征包括：

19、将所述多个旋转图像分别输入所述多个特征提取子网络，以获取每个所述特征提取子网络输出的旋转图像特征；

20、针对每个所述旋转图像特征，按照所述旋转图像特征对应的预设旋转角度和/或所述预设旋转方向的反方向，对所述旋转图像特征进行旋转，得到所述旋转图像特征对应的反向旋转图像特征；

21、对所述多个反向旋转图像特征进行矢量拼接处理，得到所述聚合图像特征。

22、可选地，所述聚合图像特征包括聚合图像特征点信息和聚合图像描述信息，所述预估图像特征包括预估图像特征点信息和预估图像描述信息；所述根据所述预估图像特征和所述聚合图像特征，确定目标损失值包括：

23、根据所述聚合图像特征点信息和所述预估图像特征点信息的差异，确定第一损失值；

24、根据所述聚合图像描述信息和所述预估图像描述信息的差异，确定第二损失值；

25、根据所述聚合图像特征点信息和所述聚合图像描述信息，确定第三损失值；

26、根据所述第一损失值、所述第二损失值以及所述第三损失值，确定所述目标损失值。

27、可选地，所述样本图像包括第一样本图像和第二样本图像，所述第一样本图像和所述第二样本图像之间存在重叠区域，所述根据所述聚合图像特征点信息和所述聚合图像描述信息，确定第三损失值包括：

28、在所述重叠区域内确定多个采样点；

29、从所述第一样本图像对应的聚合图像特征中确定每个所述采样点对应的第一特征点信息和第一图像描述信息，从所述第二样本图像对应的聚合图像特征中确定每个所述采样点对应的第二特征点信息和第二图像描述信息；

30、根据所述多个第一特征点信息和所述多个第二特征点信息之间的第一差异，以及所述多个第一图像描述信息和所述多个第二图像描述信息之间的第二差异，确定所述第三损失值。

31、可选地，所述根据所述目标图像特征，确定所述目标图像与预设图像是否匹配包括：

32、根据所述目标图像特征，确定所述目标图像与所述预设图像之间的匹配度；

33、在所述匹配度大于或等于预设匹配度阈值的情况下，确定所述目标图像与所述预设图像匹配。

34、第二方面，本公开提供一种图像匹配装置，包括：

35、获取模块，用于将待匹配的目标图像输入第一网络模型，以获取所述第一网络模型输出的目标图像特征；

36、匹配模块，用于根据所述目标图像特征，确定所述目标图像与预设图像是否匹配；

37、其中，所述第一网络模型通过样本图像和所述样本图像对应的聚合图像特征训练得到，所述聚合图像特征通过所述样本图像在不同旋转角度的图像特征得到。

38、可选地，所述装置还包括：

39、模型训练模块，用于根据所述样本图像的样本图像特征对目标神经网络模型进行训练，得到所述第一网络模型，所述样本图像特征包括所述聚合图像特征和预估图像特征，所述预估图像特征为通过所述目标神经网络获取的所述样本图像的图像特征。

40、可选地，所述模型训练模块，还用于：

41、根据所述样本图像，循环执行模型训练步骤，直至确定训练后的目标神经网络模型满足预设停止迭代条件，将训练后的目标神经网络模型作为所述第一网络模型；

42、所述模型训练步骤包括：

43、将所述样本图像输入所述目标神经网络模型，以获取所述预估图像特征；

44、获取所述样本图像对应的聚合图像特征；

45、根据所述预估图像特征和所述聚合图像特征，确定目标损失值；

46、在根据所述目标损失值确定所述目标神经网络模型不满足所述预设停止迭代条件的情况下，根据所述目标损失值，更新所述目标神经网络模型的参数，得到训练后的目标神经网络模型。

47、可选地，所述模型训练模块，还用于：

48、按照预设旋转方向和/或多个预设旋转角度对所述样本图像进行旋转，得到所述样本图像对应的多个旋转图像；

49、将所述多个旋转图像输入预设的第二网络模型，以获取所述聚合图像特征。

50、可选地，所述第二网络模型包括多个特征提取子网络，不同特征提取子网络对应不同的预设旋转角度，所述模型训练模块，还用于：

51、将所述多个旋转图像分别输入所述多个特征提取子网络，以获取每个所述特征提取子网络输出的旋转图像特征；

52、针对每个所述旋转图像特征，按照所述旋转图像特征对应的预设旋转角度和/或所述预设旋转方向的反方向，对所述旋转图像特征进行旋转，得到所述旋转图像特征对应的反向旋转图像特征；

53、对所述多个反向旋转图像特征进行矢量拼接处理，得到所述聚合图像特征。

54、可选地，所述聚合图像特征包括聚合图像特征点信息和聚合图像描述信息，所述预估图像特征包括预估图像特征点信息和预估图像描述信息；所述模型训练模块，还用于：

55、根据所述聚合图像特征点信息和所述预估图像特征点信息的差异，确定第一损失值；

56、根据所述聚合图像描述信息和所述预估图像描述信息的差异，确定第二损失值；

57、根据所述聚合图像特征点信息和所述聚合图像描述信息，确定第三损失值；

58、根据所述第一损失值、所述第二损失值以及所述第三损失值，确定所述目标损失值。

59、可选地，所述样本图像包括第一样本图像和第二样本图像，所述第一样本图像和所述第二样本图像之间存在重叠区域，所述模型训练模块，还用于：

60、在所述重叠区域内确定多个采样点；

61、从所述第一样本图像对应的聚合图像特征中确定每个所述采样点对应的第一特征点信息和第一图像描述信息，从所述第二样本图像对应的聚合图像特征中确定每个所述采样点对应的第二特征点信息和第二图像描述信息；

62、根据所述多个第一特征点信息和所述多个第二特征点信息之间的第一差异，以及所述多个第一图像描述信息和所述多个第二图像描述信息之间的第二差异，确定所述第三损失值。

63、可选地，所述匹配模块，还用于：

64、根据所述目标图像特征，确定所述目标图像与所述预设图像之间的匹配度；

65、在所述匹配度大于或等于预设匹配度阈值的情况下，确定所述目标图像与所述预设图像匹配。

66、第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。

67、第四方面，本公开提供一种电子设备，包括：

68、存储器，其上存储有计算机程序；

69、处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。

70、通过上述技术方案，将待匹配的目标图像输入第一网络模型，以获取所述第一网络模型输出的目标图像特征；根据所述目标图像特征，确定所述目标图像与预设图像是否匹配；其中，所述第一网络模型通过样本图像和所述样本图像对应的聚合图像特征训练得到，所述聚合图像特征通过所述样本图像在不同旋转角度的图像特征得到。也就是说，本公开通过第一网络模型提取目标图像的目标图像特征，再根据该目标图像特征对该目标图像和预设图像进行匹配，由于该第一网络模型是通过样本图像的聚合图像特征训练得到的，该聚合图像特征包括该样本图像在不同旋转角度的图像特征，从而使得根据该第一网络模型提取的目标图像特征也能够体现该目标图像在不同旋转角度的图像特征，根据该目标图像特征进行图像匹配的准确率也会更高。

71、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。