一种基于多网络特征融合的输电线路悬挂异物检测方法

1.本发明属于输电线路监测图像数据处理技术领域，具体涉及一种基于多网络特征融合的输电线路悬挂异物检测方法。


背景技术：

2.输电线路的运行和维护对电网的安全平稳运行具有重大意义。我国建设的输电线路错综复杂、地域差异性明显，部分线路邻近城市、施工工地等地区，可能存在鸟巢、气球、风筝等异物悬挂于线路上会缩短放电距离而引发输电故障。但由于其具有偶然性和突发性的特点，依靠人工巡检存在发现不及时，效率低下等问题。


技术实现要素：

3.鉴于此，本发明的目的在于提供一种基于多网络特征融合的输电线路悬挂异物检测方法，用于准确识别出输电线路悬挂异物，为电网运维人员开展输电线路悬挂异物清障工作提供参考。
4.为实现上述目的，本发明提供如下技术方案：一种基于深度卷积特征的电网危害鸟种分类识别方法，包括如下步骤：
5.一种基于多网络特征融合的输电线路悬挂异物检测方法，包括如下步骤：
6.s1、构建输电线路悬挂异物图像数据集：针对电网人工巡检与无人机巡检拍摄的输电线路悬挂异物图像，采用otus最大类间方差阈值分割法与形态学方法提取异物目标区域，运用泊松融合算法将输电线路真实背景与异物目标区域进行融合，生成虚拟的异物图像扩充图像样本，构建包含n种输电线路悬挂异物图像数据集，并按照一定的比例划分为训练集与测试集；
7.s2、输电线路悬挂异物图像融合特征提取：搭建googlenet、darknet-53、vgg-19、resnet-50、xception卷积神经网络模型，采用大规模数据集ms coco进行预训练，对预训练的5个网络模型结构进行微调，并利用扩充后的异物图像训练集重新训练微调后的5个网络模型；
8.利用重新训练好的5个网络模型分别对输电线路悬挂异物图像数据集进行特征提取，采用特征可视化grad-cam 算法生成每个网络模型特征提取层对应的类激活热力图，获得每个特征层的决策区域，据此挑选出每个网络模型的最佳特征提取层；并对最佳特征提取层的决策区域进行分析，挑取具有互补性的特征进行级联融合，获得最佳的异物图像融合特征；
9.s3、构建与训练基于贝叶斯优化的随机森林输电线路悬挂异物分类识别模型：采用bootstrap重采样的方法对训练集的融合特征z进行m次随机有放回的采样，生成m个样本集用于训练m棵cart决策树，同时控制每个样本集的样本数量相同；定义训练集的融合特征变量为s，随机地在s个特征变量里面选择s个特征变量组成该节点的分裂特征变量子集，根据基尼系数选择最优分裂特征变量和最优分裂值，生成包含m棵cart决策树的随机森林分
类模型，同时使用贝叶斯优化随机森林的超参数，通过5倍交叉验证对模型进行训练，以平均均方根误差(rmse)作为控制函数，寻找最优超参数：
[0010][0011]
式中：n为样本数目；yi为第i个样本的真实值；为第i
th
个样本的预测值；
[0012]
s4、输电线路悬挂异物分类识别：利用测试集的融合特征x对随机森林分类模型中m棵cart决策树进行测试，得到预测类别{c1(x)、c2(x)、
…
、cm(x)}；对于测试得到的分类结果进行投票，选择在m棵cart决策树分类结果中出现频率最高的作为最终的分类结果：
[0013][0014]
式中：f
rf
(x)为分类结果，f
l
(x)为第l棵cart决策树对样本x的分类结果，m为cart决策树的数量，c为异物分类类别数，i为c类中的某一类，i(
·
)代表分类结果为i时的情况。
[0015]
进一步地，步骤s1中，结合泊松融合和otsu最大类间方差阈值分割法与形态学方法对异物图像进行扩充：将输入大小为w
×
h的异物图像进行灰度化，并将灰度值的范围g＝{0，1，2，
…
，l-1}，灰度值为i(i∈g)的个数设置为ni，灰度值i出现的概率为pi＝ni/w
×
h；设置初始阈值t为0，将[0，t]灰度值区间的像素归为目标区域，[t 1，l-1]灰度值区间的像素归为背景区域，通过改变t的取值使得计算目标区域和背景区域的类间方差最大化，求出最佳分割阈值，实现图像分割；对分割得到的二值图像进行开操作，先进行腐蚀再进行膨胀操作，获得连通区域并对不同区域进行着色，基于最大连通区域求其质心和外接矩形，最后通过裁剪提取目标区域z；
[0016]
设置提取目标区域z为目标场景，输电线路真实图像为背景场景k，v为引导场，分别计算目标场景z和背景场景k的梯度场，将z的梯度场和k的梯度场进行融合得到融合场景的梯度场；通过构建带狄利克雷边界条件的泊松方程求解融合场景的梯度场与引导场之间的最小值，完成异物目标区域与输电线路真实图像真实背景的泊松融合过程。并将输电线路悬挂异物图像数据集按照8：2的比例划分为训练集与测试集。
[0017]
进一步地，步骤s2中，对预训练的5个网络模型结构进行微调，将googlenet、darknet-53、vgg-19、resnet-50、xception的全连接层的维数由1000调整为n(输电线路悬挂异物种数)，并将最后的分类输出层调整为n(输电线路悬挂异物种数)分类；利用s1中划分好的训练集重新训练微调后的5个网络模型，采用批量梯度下降法对损失函数进行优化，寻求最优的参数。
[0018]
进一步地，利用重新训练后的5个卷积神经网络模型对输电线路悬挂异物图像数据集进行特征提取，利利用特征可视化grad-cam 算法决策出将googlenet、darknet-53、resnet-50和xception的全局平均池化层和vgg-19的最后一个dropout层作为特征提取层；将googlenet、darknet-53、vgg-19、resnet-50、xception提取得到的特征分别命名为fg、fd、fv、fr、f
x
，并对每个卷积神经网络的分类决策区域进行分析后，最终确定通过公式(2)将fg、fd和fe进行级联融合，获得最佳的异物图像融合特征f。
[0019]
f＝concatenate(fg,fd,f
x
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0020]
与现有技术相比，本发明有益效果：
[0021]
通过结合泊松融合和otsu最大类间方差阈值分割法与形态学方法对异物图像进行扩充，构建多个卷积神经网络模型和特征可视化grad-cam 算法共同获得最佳融合特征，利用基于贝叶斯优化的随机森林分类模型实现输电线路悬挂异物分类识别。本发明提出的技术方案具有较好的检测精度和检测速度，且更有利于实际应用，可为电网运维人员开展输电线路悬挂异物清障工作提供参考。
附图说明
[0022]
图1为本发明的方法流程图。
[0023]
图2为本发明中的随机森林分类模型结构图。
具体实施方式
[0024]
下面结合实施例对本发明做进一步的描述，有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整，仍属于本发明保护范围。
[0025]
一种基于多网络特征融合的输电线路悬挂异物检测方法，其流程图如图1所示，包括以下步骤：
[0026]
s1、构建输电线路悬挂异物图像数据集：针对电网人工巡检与无人机巡检拍摄的输电线路悬挂异物图像，采用otus最大类间方差阈值分割法与形态学方法提取异物目标区域，运用泊松融合算法将输电线路真实背景与异物目标区域进行融合，生成虚拟的异物图像扩充图像样本，构建包含n种输电线路悬挂异物图像数据集，并按照一定的比例划分为训练集与测试集；
[0027]
本实施例中，收集了电网巡检拍摄的输电线路悬挂异物图像，选取了塑料、鸟巢、风筝、气球4种异物作为研究对象，每种异物包含60张图像，共计240张图像样本。结合泊松融合和otsu最大类间方差阈值分割法与形态学方法对异物图像进行扩充，将输入大小为w
×
h的异物图像进行灰度化，并将灰度值的范围g＝{0，1，2，
…
，255}，灰度值为i(i∈g)的个数设置为ni，灰度值i出现的概率为pi＝ni/w
×
h；设置初始阈值t为0，将[0，t]灰度值区间的像素归为目标区域，[t 1，l-1]灰度值区间的像素归为背景区域，通过改变t的取值使得计算目标区域和背景区域的类间方差最大化，求出最佳分割阈值，实现图像分割；对分割得到的二值图像进行开操作，先进行腐蚀再进行膨胀操作，获得连通区域并对不同区域进行着色，基于最大连通区域求其质心和外接矩形，最后通过裁剪提取目标区域z；
[0028]
设置z为目标场景，输电线路真实图像为背景场景k，v为引导场，分别计算目标场景z和背景场景k的梯度场，将z的梯度场和k的梯度场进行融合得到融合场景的梯度场；通过构建带狄利克雷边界条件的泊松方程求解融合场景的梯度场与引导场之间的最小值，完成异物目标区域与输电线路真实图像真实背景的泊松融合过程。将生成的虚拟的异物图像对现有图像样本进行扩充，构建包含4种输电线路悬挂异物图像数据集，其中每种异物包含100张图像，共计400张图像样本，并按照8：2的比例随机划分为训练集和测试集，因此，训练集包含320个样本，测试集包含80个样本。
[0029]
s2、输电线路悬挂异物图像融合特征提取：搭建googlenet、darknet-53、vgg-19、resnet-50、xception卷积神经网络模型，采用大规模数据集imagenet进行预训练，对预训
练的5个网络模型结构进行微调，并利用扩充后的异物图像训练集重新训练微调后的5个网络模型；
[0030]
利用重新训练好的5个网络模型分别对输电线路悬挂异物图像数据集进行特征提取，采用特征可视化grad-cam 算法生成每个网络模型特征提取层对应的类激活热力图，获得每个特征层的决策区域，据此挑选出每个网络模型的最佳特征提取层；并对最佳特征提取层的决策区域进行分析，挑取具有互补性的特征进行级联融合，获得最佳的异物图像融合特征。
[0031]
本实施例中，采用大规模开放图像数据集ms coco对googlenet、darknet-53、vgg-19、resnet-50、xception进行预训练，并对预训练的5个网络模型结构进行微调，将googlenet、darknet-53、vgg-19、resnet-50、xception的全连接层的维数由1000调整为n(输电线路悬挂异物种数)，并将最后的分类输出层调整为n(输电线路悬挂异物种数)分类；利用划分好的训练集重新训练微调后的5个网络模型，采用批量梯度下降法对损失函数进行优化，梯度下降的批量batchsize为5；
[0032]
利用重新训练后的5个卷积神经网络模型对输电线路悬挂异物图像数据集进行特征提取，利用特征可视化grad-cam 算法决策出将googlenet、darknet-53、resnet-50和xception的全局平均池化层和vgg-19的最后一个dropout层作为特征提取层；将googlenet、darknet-53、vgg-19、resnet-50、xception提取得到的特征分别命名为fg、fd、fv、fr、f
x
，并对每个卷积神经网络的分类决策区域进行分析后，最终确定通过公式(1)将fg、fd和f
x
进行级联融合，获得最佳的异物图像融合特征f。
[0033]
f＝concatenate(fg,fd,f
x
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0034]
s3、构建与训练基于随机森林的输电线路悬挂异物分类识别模型：采用bootstrap重采样的方法对训练集的融合特征z进行m次随机有放回的采样，生成m个样本集用于训练m棵cart决策树，同时控制每个样本集的样本数量相同；定义训练集的融合特征变量为s，随机地在s个特征变量里面选择s个特征变量组成该节点的分裂特征变量子集，根据基尼系数选择最优分裂特征变量和最优分裂值，生成包含m棵cart决策树的随机森林分类模型，同时使用贝叶斯优化随机森林的超参数，通过5倍交叉验证对模型进行训练，以平均均方根误差(rmse)作为控制函数，寻找最优超参数：
[0035][0036]
式中：n为样本数目；yi为第i个样本的真实值；为第i
th
个样本的预测值；模型参数如下：决策树数目为100；
[0037]
本实施例构建的随机森林分类模型如图2所示，首先根据bootstrap重复采样的方法对训练集的融合特征z进行100次随机有放回的采样，生成100个样本集用于训练100棵cart决策树，定义训练集的融合特征变量为320，随机地在320个特征变量里面选择17个特征变量组成该节点的分裂特征变量子集，根据基尼系数选择最优分裂特征变量和最优分裂值，生成包含100棵cart决策树的随机森林分类模型。
[0038]
s4、输电线路悬挂异物分类识别：利用测试集的融合特征x对随机森林分类模型中100棵cart决策树进行测试，得到预测类别{c1(x)、c2(x)、
…
、c
100
(x)}；对于测试得到的分类
结果进行投票，选择在100棵cart决策树分类结果中出现频率最高的作为最终的分类结果：
[0039][0040]
式中：f
rf
(x)为分类结果，f
l
(x)为第l棵cart决策树对样本x的分类结果，m为cart决策树的数量，c为异物分类类别数，i为c类中的某一类，i(
·
)代表分类结果为i时的情况。
[0041]
本实施例中，将训练集和测试集的最佳融合特征分别对随机森林分类模型进行训练和测试，实现输电线路悬挂异物分类识别。借助accuracy来评价其分类性能。结果表1所示。
[0042]
表1不同特征融合方案的性能指标
[0043][0044]
根据表1结果可知，从各个融合方案的结果可以得出结论，将googlenet、darknet-53、xception提取的异物特征进行融合为最佳融合方案，准确率可以达到最优的95.98％，验证了本发明提出的分类模型能够准确的识别出输电线路悬挂异物，可为电网运维人员开展输电线路悬挂异物清障工作提供参考。
[0045]
以上所述仅表达了本发明的优选实施方式，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的内容加以更改或改型为等同变化的等效实施例。但是，凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。