基于多尺度融合特征点的变电站图像配准方法及系统与流程

本技术涉及计算机视觉与图像处理，具体是涉及一种基于多尺度融合特征点的变电站图像配准方法及系统。

背景技术：

1、在变电站巡检工作中，球形摄像机（一种可旋转、可倾斜的摄像头，简称球机），因其灵活性被广泛使用。当前变电站多使用球机进行站内巡检工作，为了节省球机部署成本，一般一个球机会配置多个预置位，根据不同的 ptz（pan-tilt-zoom，即平移-倾斜-缩放）信息，捕捉不同位置的图片。

2、然而，由于球机移动精度的限制，当相机倍率高，且预置位设置时间过长时，当前相机移动的ptz位置，相对于设置的ptz位置会有随机偏差，这导致前后拍摄图像中的物体发生偏移。传统的图像配准方法在处理这种情况时，可能因无法适应尺度和方向的变化而导致配准效果不佳。

3、因此，需要一种更加准确且具有更好鲁棒性的图像配准方法来解决这一问题。

技术实现思路

1、为了实现更加准确且具有更好鲁棒性的图像配准，申请提供一种基于多尺度融合特征点的变电站图像配准方法及系统。

2、第一方面，本技术提供一种基于多尺度融合特征点的变电站图像配准方法，包括：

3、采用特征提取算法，在至少两个图像尺寸中每个图像尺寸下，分别提取两张变电站图像的关键点与对应的特征向量；所述两张变电站图像为由于球形摄像机移动偏差引起内容存在偏差的两张变电站图像；

4、在每个图像尺寸下，分别基于获取的特征向量，对两张变电站图像中关键点进行配对；

5、在每个图像尺寸下，分别提取两张变电站图像的关联关系；所述关联关系为两张变电站图像配对的关键点之间的对应关系；

6、合并不同图像尺寸下的关联关系，并计算出每个关键点的相对偏移量；

7、采用聚类方法，从合并后关联关系中筛除离散的关键点对；

8、输出根据关联关系与相对偏移量完成配准处理后的变电站图像的像素偏移量。

9、通过采用上述方案，对图像的关键点进行提取与匹配，并通过多尺度配准来提高配准的准确性，即获取多个尺度下的图像关键点对应关系，得到覆盖图像中多个细节层次的关键点对信息，并结合聚类方法筛除离散关键点对，进一步提高图像配准的准确性。

10、优选的，所述采用特征提取算法，提取具有移动偏差的两张变电站图像的关键点与对应的特征向量包括：

11、根据不同的场景下，动态选择特征提取算法；包括：

12、若当前所处场景为用电高峰期，则对应选择采用sift特征提取算法，若当前所处场景为用电低峰期，则对应选择采用orb特征提取算法；

13、或者当前场景处于天气质量良好的条件下，即实时采集的天气数据均处于对应第一预设范围内，则选择采用surf或fast特征提取算法；若当前场景处于天气质量差的条件下，即实时采集的天气数据均处于对应第二预设范围内，则选择采用深度学习模型完成特征提取；

14、利用选择的特征提取算法，提取两张变电站图像的关键点与对应的特征向量。

15、通过采用上述方案，考虑到不同的场景对于图像特征提取的影响，适应性的选择精确度高的特征提取算法或实时性强的特征提取算法，提高特征提取的准确性。

16、优选的，还包括：

17、模拟生成由于球形摄像机移动偏差引起内容存在偏差的两张变电站图像以及实际由于球形摄像机移动偏差引起内容存在偏差的两张变电站图像，且模拟的两张变电站图像与实际的两张变电站图对应的球形摄像机移动偏差相同；

18、利用深度学习模型分别对模拟的两张变电站图像、实际的两张变电站图像进行关键点提取或进行关键点配对；

19、判断模拟的两张变电站图像与实际的两张变电站图像完成图像配准处理后输出的像素偏移量之差与像素偏移量差值预设阈值的大小；若输出的像素偏移量之差大于或等于像素偏移量差值预设阈值，则对于深度学习模型进行优化，利用优化后的深度学习模型继续对模拟的两张变电站图像、实际的两张变电站图像进行关键点提取或进行关键点配对，重复判断模拟的两张变电站图像与实际的两张变电站图像完成图像配准处理后输出的像素偏移量之差与像素偏移量差值预设阈值的大小，直至输出的像素偏移量之差小于像素偏移量差值预设阈值。

20、通过采用上述方案，基于模拟和实际变电站图像的混合验证方法，对多尺度图像配准的准确性进行验证，进而优化特征配对的深度模型，以进一步提升多尺度图像配准的准确性。

21、优选的，所述在至少两个图像尺寸中图像尺寸的具体数量确定方式包括：

22、利用边缘检测算法对两张变电站图像分别进行边缘数量的获取，若两张变电站图像中任一张图像的边缘数量大于边缘数量的预设阈值，则认定存在复杂度高的变电站图像，否则，认定不存在复杂度高的变电站图像；

23、若认定存在复杂度高的变电站图像，则确定图像尺寸的具体数量处于第一预设数量范围内，若认定不存在复杂度高的变电站图像，则确定图像尺寸的具体数量处于第二预设数量范围内，其中第一预设数量范围大于第二预设数量范围。

24、通过采用上述方案，考虑到不同变电站图像包含的设备数量、设备纹理特征不同，对应的图像复杂度不同，针对复杂度高的变电站图像进行数量多的多尺寸图像配准，尽可能覆盖图像中多个细节层次的信息，提高图像配准的准确性。

25、优选的，还包括：

26、设计交互式配准界面；所述交互配准界面提供调整工具；

27、实时于交互式配准界面显示两张图像的配准情况，所述配准情况包括：两张图像进行特征提取后的关键点位置信息以及两张图像中关键点的配对信息；

28、实时接收用户利用调整工具添加或者删除的关键点的配对信息，并据此调整两张图像中关键点的配对信息。

29、通过采用上述方案，通过可视化展示配准情况，以及提供用户手动调整的机会，可以增强配准的灵活性和可用性。

30、优选的，所述至少两个图像尺寸包括：原始图像尺寸和至少一个缩小或放大的尺寸。

31、通过采用上述方案，以原始图像尺寸为基准，获取原始图像更为细节或者视野更广阔的图像尺寸，以提升多尺寸融合特征的图像配准的准确性。

32、优选的，所述聚类方法采用dbscan聚类方法。

33、通过采用上述方案，dbscan聚类方法能有效的识别配对关键点中的异常值，提升图像配准的鲁棒性。

34、第二方面，本技术提供一种基于多尺度融合特征点的变电站图像配准系统，包括：

35、图像特征提取模块，用于采用特征提取算法，在至少两个图像尺寸中每个图像尺寸下，分别提取两张变电站图像的关键点与对应的特征向量；所述两张变电站图像为由于球形摄像机移动偏差引起内容存在偏差的两张变电站图像；

36、图像特征配对模块，用于在每个图像尺寸下，分别基于获取的特征向量，对两张变电站图像中关键点进行配对；

37、多尺度关联关系获取模块，用于在每个图像尺寸下，分别提取两张变电站图像的关联关系；所述关联关系为两张变电站图像配对的关键点之间的对应关系；

38、多尺度关联关系合并模块，用于合并不同图像尺寸下的关联关系，并计算出每个关键点的相对偏移量；

39、图像关联关系噪声剔除模块，用于采用聚类方法，从合并后关联关系中筛除离散的关键点对；

40、图像配准偏移量获取模块，用于输出根据关联关系与相对偏移量完成配准处理后的变电站图像的像素偏移量。

41、通过采用上述方案，采用多尺度特征融合，覆盖图像中多个细节层次的信息，提高图像配准的准确性。

42、第三方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的方法。

43、第四方面，本技术提供一种计算机设备，所述计算机设备包括存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现如上述方法的步骤。

44、综上，本技术具有以下有益效果为：

45、1、提取特征数据并进行特征配对，获取图像中配对的关键点之间的关联关系，采用多尺度特征融合方式获取合并的关联关系，结合聚类方法剔除合并的关联关系中离散的关键点对信息，进而获取偏移量以完成图片配准，基于图像中多个细节层次的关键点对信息，提高图像配准的准确性。

46、2、根据变电站场景，适应性的选择特征提取算法以提升特征数据提取的准确性；在结合模拟的图像验证多尺度特征融合图像配准的准确性，由此优化深度学习网络更好的完成特征匹配；

47、3、基于图像的复杂度进行多尺度特征融合中多个尺寸数量的设置，针对性的进行多个尺度的关联关系的获取，提高图像配准的准确性。