一种基于Phash算法结合深度学习的线路螺栓缺陷识别方法与流程

一种基于phash算法结合深度学习的线路螺栓缺陷识别方法
技术领域
1.本发明涉及输电线路缺陷检测技术领域，具体涉及一种基于phash算法结合深度学习的线路螺栓缺陷识别方法。


背景技术：

2.输电线路是国家电力系统中的重要部分，通常存在于各种复杂的环境中，经历风吹日晒等外界环境因素影响后难免会出现不同程度的损耗，为了给居民提供更稳定的供电环境，对线路的检修必不可少。人工检修不仅耗资巨大，而且对于检修人员的安全也缺乏保障，一些极端的地理位置也会对输电线路人工检修造成阻碍，而无人机的出现无疑在线路检修方面提供了更为简便、安全的方法。
3.尽管无人机在输电线路中的缺陷检修已经得到了大量的应用，但是对无人机采集的大量图片数据进行缺陷分析仍存在困难。传统的无人机巡检图像处理方式，存在效率低、准确度不高等缺点。在输电线路中螺栓缺陷是常见的器件缺陷，常规的螺栓缺陷检测方案是通过深度学习提取大量的数据集特征，然后利用检测识别网络判断螺栓是否缺损。这种存在受外部影响大，适用范围窄，在螺栓缺失的情况检测准确率不高，对不存在模板的螺栓模型无法进行检测。


技术实现要素：

4.本发明的目的是为了提供一种基于phash算法结合深度学习的线路螺栓缺陷识别方法。此方法旨在解决现有技术中的缺陷检测方法受外部影响大，适用范围窄，在螺栓缺失的情况检测准确率不高，对不存在模板的螺栓模型无法进行检测的问题。
5.为达到上述目的，本发明通过以下技术方案实现：
6.一种基于phash算法结合深度学习的线路螺栓缺陷识别方法，包括：
7.步骤s1：收集输电线路的螺栓图像，并在所述螺栓图像上框选出螺栓位置，将框选出的所述螺栓位置的图像分割提取，作为初始样本集；
8.步骤s2：通过phash算法判断初始样本集中的螺栓缺失情况，选择相似度阈值；
9.步骤s3：将所述初始样本集中螺栓未缺失的图片作为基础样本集，对所述基础样本集进行样本量的扩充，得到扩充样本集；
10.步骤s4：通过深度学习构建用于识别螺栓缺陷的faster r
‑
cnn网络模型，将所述扩充样本集作为训练数据并对所述faster r
‑
cnn网络模型进行训练，将训练完成的所述fasterr
‑
cnn网络模型放置在cpu上；
11.步骤s5：利用无人机拍摄所述输电线路的图片并作为待检测图像，通过phash算法判断所述待检测图像中螺栓缺失情况，将所述待检测图像输入至训练完成后的所述faster r
‑
cnn网络模型，利用所述faster r
‑
cnn网络模型判断所述待检测图像中螺栓缺陷情况。
12.优选的，在所述步骤s2中，判断初始样本集中的螺栓缺失情况，若判断所述初始样本集中一图片存在螺栓缺失，则标记前述图片，定义为螺栓缺失；若判断所述初始样本集中
另一图片不存在螺栓缺失，则执行所述步骤s3。
13.优选的，在所述步骤s2中，判断初始样本集中螺栓缺失情况的具体步骤包括：
14.步骤s201：将所述初始样本集中的任一待测图片进行灰度化处理，得到灰度图像，对所述灰度图像进行dct变化，得到64*64的dct系数矩阵，截取所述64*64的dct系数矩阵中左上角16*16的dct矩阵gary(i,j)，计算所述dct矩阵gary(i,j)的平均值av，其计算公式如下：
[0015][0016]
步骤s202：建立16*16的零矩阵zero(i,j)，将所述dct矩阵gary(i,j)中各个数值与所述矩阵的平均值av进行比较；
[0017]
所述dct矩阵gary(i,j)中某一数值大于所述平均值av，则将对应的所述零矩阵zero(i,j)中的数值改为1；所述dct矩阵gary(i,j)中某一数值不大于所述平均值av，则将对应的所述零矩阵zero(i,j)中的数值改为0，所述零矩阵zero(i,j)公式为：
[0018][0019]
最终零矩阵zero(i,j)输出的是16*16的所述待测图片的二值图像，其中数值为1，则显示白色；数值为0则显示黑色。
[0020]
步骤s203：对已确认为螺栓未缺失的图片依次进行所述步骤s201和所述步骤s202中的处理后，得到所述螺栓未缺失的图片的二值图像，将所述螺栓未缺失的图片的二值图像与所述待测图片的二值图像进行比较，计算出数值不同的个数，得到汉明距离，通过所述汉明距离，间接获得图像的相似度，所述图像的相似度公式为：
[0021][0022]
式中：d表示汉明距离；p表示phash算法的图像相似度。
[0023]
优选的，在所述步骤s203中，通过对所述图像相似度p的值进行计算，得到其距离分布均值d和标准差ε，则所述相似度阈值在区间[d ε,d
‑
ε]内选择，根据所述图像的相似度p的值和所述相似度阈值判断螺栓缺失情况。
[0024]
优选的，所述待测图片的所述图像的相似度p的值大于所述相似度阈值，则所述待测图片为螺栓未缺失；所述待测图片的所述图像的相似度p的值不大于所述相似度阈值，则所述待测图片为螺栓缺失。
[0025]
优选的，在所述步骤s3中，通过采用随机翻转、随机缩放、随机平移和随机图片增强中的一种或其任意组合，对所述基础样本集进行样本量的扩充，得到所述扩充样本集。
[0026]
优选的，在所述步骤s4中，对所述fasterr
‑
cnn网络模型进行训练，需要采用单gpu进行训练，使得训练特征图可以通过rpn网络和检测网络得到框选部位。
[0027]
优选的，所述cpu用于对所述待检测图像进行识别。
[0028]
优选的，在步骤s5中，若所述待检测图像存在螺栓缺陷，则利用所述faster r
‑
cnn网络模型得到螺栓的位置坐标，且将其定义为螺栓有缺陷；若所述待检测图像不存在螺栓缺陷，则利用所述faster r
‑
cnn网络模型得到螺栓的位置坐标，且将其定义为螺栓未缺损。
[0029]
优选的，在所述步骤s5中，对由所述faster r
‑
cnn网络模型得到螺栓的位置坐标进行换算，得到所述待检测图像中标注螺栓位置的坐标，对所述待检测图像中标注螺栓位置的坐标进行过滤处理，得到所述待检测图像中标注螺栓位置的精确坐标。
[0030]
与现有技术相比，本发明具有以下有益效果：
[0031]
本发明解决了现有螺栓缺失检测方法中准确度低、易受外部光线影响的问题，利用phash算法可以确定螺栓是否缺失，然后通过深度学习模型来判定在螺栓不缺失的情况下，螺栓是否存在缺陷，即实现了更为通用的螺栓缺陷检测技术，本发明提出的方法具备更高的准确度和适用性，使待检数据的采集不再受限于天气、位置和设备因素的影响。
附图说明
[0032]
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：
[0033]
图1为本发明一实施例提供的一种基于phash算法结合深度学习的线路螺栓缺陷识别方法的流程示意图；
[0034]
图2为本发明一实施例提供的rpn网络的示意图。
具体实施方式
[0035]
以下结合附图1、图2和具体实施方式对本发明提出的基于phash算法结合深度学习的线路螺栓缺陷识别方法作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
[0036]
鉴于现有的输电线路缺陷检测方法存在的不足，本实施例提供了一种基于phash算法结合深度学习的线路螺栓缺陷识别方法，包括：
[0037]
一种基于phash算法结合深度学习的线路螺栓缺陷识别方法，包括：
[0038]
步骤s1：收集输电线路的螺栓图像，并在所述螺栓图像上框选出螺栓位置，将框选出的所述螺栓位置的图像分割提取，作为初始样本集；
[0039]
步骤s2：通过phash算法判断初始样本集中的螺栓缺失情况，选择相似度阈值；
[0040]
判断初始样本集中的螺栓缺失情况，若判断所述初始样本集中一图片存在螺栓缺失，则标记前述图片，定义为螺栓缺失；若判断所述初始样本集中另一图片不存在螺栓缺失，则执行所述步骤s3。
[0041]
判断初始样本集中螺栓缺失情况的具体步骤包括：
[0042]
步骤s201：将所述初始样本集中的任一待测图片进行灰度化处理，得到灰度图像，对所述灰度图像进行dct变化，得到64*64的dct系数矩阵，截取所述64*64的dct系数矩阵中
左上角16*16的dct矩阵gary(i,j)，计算所述dct矩阵gary(i,j)的平均值av，其计算公式如下：
[0043][0044]
步骤s202：建立16*16的零矩阵zero(i,j)，将所述dct矩阵gary(i,j)中各个数值与所述矩阵的平均值av进行比较；
[0045]
所述dct矩阵gary(i,j)中某一数值大于所述平均值av，则将对应的所述零矩阵zero(i,j)中的数值改为1；所述dct矩阵gary(i,j)中某一数值不大于所述平均值av，则将对应的所述零矩阵zero(i,j)中的数值改为0，所述零矩阵zero(i,j)公式为：
[0046][0047]
最终零矩阵zero(i,j)输出的是16*16的所述待测图片的二值图像，其中数值为1，则显示白色；数值为0则显示黑色。
[0048]
步骤s203：对已确认为螺栓未缺失的图片进行所述步骤s201和所述步骤s202中的处理后，得到所述螺栓未缺失的图片的二值图像，将所述螺栓未缺失的图片的二值图像与所述待测图片的二值图像进行比较，计算出数值不同的个数，得到汉明距离，通过所述汉明距离，间接获得图像的相似度，所述图像的相似度公式为：
[0049][0050]
式(3)中：d表示汉明距离；p表示phash算法的图像相似度。
[0051]
通过对所述图像相似度p的值进行计算，得到其距离分布均值d和标准差ε，则所述相似度阈值在区间[d ε,d
‑
ε]内选择，根据所述图像的相似度p的值和所述相似度阈值判断螺栓缺失情况。
[0052]
所述待测图片的所述图像的相似度p的值大于所述相似度阈值，则所述待测图片为螺栓未缺失；所述待测图片的所述图像的相似度p的值不大于所述相似度阈值，则所述待测图片为螺栓缺失。
[0053]
步骤s3：将所述初始样本集中螺栓未缺失的图片作为基础样本集，对所述基础样本集进行样本量的扩充，得到扩充样本集。
[0054]
通过采用随机翻转、随机缩放、随机平移和随机图片增强中的一种或其任意组合，对所述基础样本集进行样本量的扩充。
[0055]
本实施例中，由于在人工标注的过程中，得到的最终可用样本较少，不能够支撑起一个具有较高准确度的fasterr
‑
cnn模型。而且在图片采集的过程中，会出现图片大小不一、不同时段的螺栓颜色不同等情况，所以采用随机缩放以及随机变色的方式对人工标注图像进行扩充，可以增加训练数据的量，进而得到一个准确度较高的faster r
‑
cnn网络模型。
[0056]
步骤s4：通过深度学习构建用于识别螺栓缺陷的faster r
‑
cnn网络模型，将所述扩充样本集作为训练数据并对所述faster r
‑
cnn网络模型进行训练，将训练完成的所述fasterr
‑
cnn网络模型放置在cpu上；所述cpu用于对所述待检测图像进行识别。
[0057]
参考图2所示的rpn网络运行过程示意图。利用rpn算法对所述faster r
‑
cnn网络模型中不同特征层对待测图像中的螺栓缺陷进行识别。rpn算法对于较小物体的检测精度较高，因此可以利用rpn算法来对待测图像中的小型螺栓进行精准检测。其中候选对象的尺寸比例为[1:0.5,1:1,0.5:1]。
[0058]
对所述faster r
‑
cnn网络模型进行训练，需要采用单gpu进行训练，使得训练特征图可以通过rpn网络和检测网络得到框选部位。
[0059]
步骤s5：利用无人机拍摄所述输电线路的图片并作为待检测图像，通过phash算法判断所述待检测图像中螺栓缺失情况，将所述待检测图像输入至训练完成后的所述faster r
‑
cnn网络模型，利用所述faster r
‑
cnn网络模型判断所述待检测图像中螺栓缺陷情况。
[0060]
若所述待检测图像存在螺栓缺陷，则利用所述faster r
‑
cnn网络模型得到螺栓的位置坐标，且将其定义为螺栓有缺陷；若所述待检测图像不存在螺栓缺陷，则利用所述faster r
‑
cnn网络模型得到螺栓的位置坐标，且将其定义为螺栓未缺损。
[0061]
对由所述faster r
‑
cnn网络模型得到螺栓的位置坐标进行换算，得到所述待检测图像中标注螺栓位置的坐标，对所述待检测图像中标注螺栓位置的坐标进行过滤处理，得到所述待检测图像中标注螺栓位置的精确坐标。
[0062]
由于faster r
‑
cnn网络模型得出的坐标放入原被测图形中存在图片样式不匹配、纵横比不同的问题，因此需要对前述坐标进行换算。在此过程中，需要剔除超出被测图像范围的坐标值，最终得到所述待检测图像中标注螺栓位置的精确坐标。
[0063]
综上所述，本实施例基于现有的发展成熟的深度学习技术，主要解决了已有螺栓缺失检测方法中准确度低、易受外部光线影响的问题。利用phash算法可以确定螺栓是否缺失，然后通过深度学习模型来判定在螺栓不缺失的情况下，螺栓是否存在缺陷，实现了更为通用的螺栓缺陷检测技术。本实施例提出的方法具备更高的准确度和适用性，使待检数据的采集不再受限于天气、位置和设备因素的影响。
[0064]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0065]
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方
框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0066]
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0067]
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。