基于半监督深度学习的双视角图像匹配方法及系统

本发明涉及图像匹配，更具体的，涉及：1、一种基于半监督深度学习的双视角图像匹配方法，2、使用了该方法的双视角图像匹配系统。

背景技术：

1、视角匹配问题是计算机视觉领域中的一个重要问题，通常涉及使用两个或多个不同视角(例如，不同相机拍摄的图像或不同时间点的图像)的信息来确定它们之间的对应关系。

2、目前双视角匹配问题的主流方法通常分为以下几个步骤：

3、步骤一，从同一场景下不同视角的图像中提取特征点或特征描述符；

4、步骤二，对于一对不同视角下的图像，利用某种匹配算法找到两个视角下相似的特征点对，得到待筛选的匹配点对；

5、步骤三，利用某种方法对待筛选的点对进行筛选，根据筛选后得到的正确匹配点对预测出两个视角的本征矩阵。

6、上述前两个步骤一般通过一些传统计算机视觉方法(如sift法、surf法)进行处理。但可能存在如下情况：由于不同视角拍摄得到的图像可能具有不同的视角、旋转和缩放而产生的图像特征不一致的问题；在不同视角下，同一物体可能被其他物体遮挡，导致部分图像区域无法匹配；由于光照条件不同，同一物体在不同视角下的图像可能具有不同的亮度和对比度，影响匹配算法；图像可能受到噪声、失真和变形等其他影响。对于这些情况同时出现的复杂场景，传统计算机视觉方法的使用效果有限。

7、对于上述的步骤三，其难点主要在于筛选算法，一方面需要保证筛选出来的点对的准确率，另一方面需要保证正确点对的筛选率(即正确的匹配点对要保证尽可能多的筛选出来)，这两方面的指标都会对最后得到的本征矩阵的准确率产生影响。

8、目前出现了采用深度学习方法来处理上述问题，也取得了一定的成果。但现有方法使用的模型均使用全监督学习框架，就会出现一些问题：1、对训练所使用的数据集要求较高：需要相同场景的不同视角图像，同时需要每个图像的相机外参数。因此，数据获取难度较高。若可用于训练的数据较少，会影响训练效果。2、点对的正确与否完全由图像对的本征矩阵决定；而前两个步骤得到的带筛选匹配对中，可能会出现有一些点对分布较为密集，从而影响本征矩阵，进而对模型的训练和最终测试表现产生负面影响。

技术实现思路

1、基于此，有必要针对现有解决双视角图像匹配问题的深度学习方法由于使用全监督学习框架而存在数据获取难度较高、训练结果和测试表现不佳的问题，提供了基于半监督深度学习的双视角图像匹配方法及系统。

2、本发明采用以下技术方案实现：

3、第一方面，本发明公开了一种基于半监督深度学习的双视角图像匹配方法，包括：使用无监督训练模型对待匹配的目标图像对进行匹配，得到目标图像对对应的正确匹配点对、正确本征矩阵。

4、其中，目标图像对包括某一场景下、两个不同视角的图像。

5、其中，的构建方法包括以下步骤：

6、步骤一，获取有监督数据、无监督数据；

7、其中，有监督数据包括：基于一类样本图像对计算得到的本征矩阵、一类待筛选匹配点对；无监督数据包括：基于二类样本图像对计算得到的二类待筛选匹配点对；

8、步骤二，使用有监督数据对深度学习模型进行多轮训练，直至得到性能最佳的模型、并作为有监督训练初始模型

9、步骤三，将进行一次复制，并作为无监督训练初始模型

10、步骤四，将无监督数据作为正方向点对数据d；将无监督数据进行翻转，得到反方向点对数据d′；基于d、d′进行n轮训练，直至得到

11、其中，n∈[1,n]，第n轮训练的方法包括：

12、将d分别输入第n-1轮有监督训练模型第n轮无监督训练模型并得到第n轮有监督输出结果；将d′分别输入并得到第n轮无监督输出结果；

13、基于第n轮有监督输出结果、第n轮无监督输出结果计算第n轮损失函数lossn；其中，式中，表示第n轮训练的对比损失；表示第n轮训练的一致性损失；表示第n轮训练的筛选率损失；

14、根据lossn对进行反向传播、并更新模型参数，得到第n轮无监督训练模型依据的模型参数按照比例平滑迁移到得到第n轮有监督训练模型

15、遍历进行性能测试，选出其中性能最佳的模型、并作为

16、该基于半监督深度学习的双视角图像匹配方法实现根据本公开的实施例的方法或过程。

17、第二方面，本发明公开了一种基于半监督深度学习的双视角图像匹配系统，使用了如第一方面公开的基于半监督深度学习的双视角图像匹配方法。

18、基于半监督深度学习的双视角图像匹配系统包括：图像匹配模块。

19、图像匹配模块用于使用无监督训练模型对待匹配的目标图像对进行匹配，得到目标图像对对应的正确匹配点对、正确本征矩阵。

20、该基于半监督深度学习的双视角图像匹配系统实现根据本公开的实施例的方法或过程。

21、第三方面，本发明公开了一种可读存储介质。该可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行如第一方面公开的基于半监督深度学习的双视角图像匹配方法的步骤。

22、与现有技术相比，本发明具备如下有益效果：

23、本发明使用了无监督训练模型对待匹配的目标图像对进行匹配；其中，在模型训练时引入了无监督数据，降低了对数据的要求，也简化了数据获取难度；在模型训练时设计了合理的损失函数，能够使模型从无监督数据中获取更多潜在的有效信息，并增强模型的训练效果、提升测试结果指标。

技术特征：

1.一种基于半监督深度学习的双视角图像匹配方法，其特征在于，包括：

2.根据权利要求1所述的基于半监督深度学习的双视角图像匹配方法，其特征在于，使用无监督训练模型对待匹配的目标图像对进行匹配，得到目标图像对对应的正确匹配点对、正确本征矩阵包括：

3.根据权利要求1所述的基于半监督深度学习的双视角图像匹配方法，其特征在于，有监督数据的获取方法包括：

4.根据权利要求1所述的基于半监督深度学习的双视角图像匹配方法，其特征在于，无监督数据的获取方法包括：

5.根据权利要求4所述的基于半监督深度学习的双视角图像匹配方法，其特征在于，二类样本图像对具有对应相机外参数；

6.根据权利要求1所述的基于半监督深度学习的双视角图像匹配方法，其特征在于，第n轮有监督输出结果包括：

7.根据权利要求5所述的基于半监督深度学习的双视角图像匹配方法，其特征在于，的表达式为：

8.根据权利要求1所述的基于半监督深度学习的双视角图像匹配方法，其特征在于，modeln有监督的模型参数的计算公式为：

9.一种基于半监督深度学习的双视角图像匹配系统，其特征在于，其使用了如权利要求1-8中任一项所述的基于半监督深度学习的双视角图像匹配方法；

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行如权利要求1-8中任一项所述的基于半监督深度学习的双视角图像匹配方法的步骤。

技术总结本发明涉及图像匹配技术领域，更具体的，涉及基于半监督深度学习的双视角图像匹配方法及系统。本发明使用无监督训练模型对待匹配的目标图像对进行匹配；其中，在模型训练时引入了无监督数据，降低了对数据的要求，也简化了数据获取难度；在模型训练时设计了合理的损失函数，能够使模型从无监督数据中获取更多潜在的有效信息，并增强模型的训练效果、提升测试结果指标。本发明解决了现有解决双视角图像匹配问题的深度学习方法由于使用全监督学习框架而存在数据获取难度较高、训练结果和测试表现不佳的问题。技术研发人员：汪粼波,闵烁,方贤勇,刘政怡受保护的技术使用者：安徽大学技术研发日：技术公布日：2024/8/1