一种输电线路小目标设备小样本缺陷检测方法、装置及存储介质

本发明涉及图像检测，特别是一种输电线路小目标设备小样本缺陷检测方法、装置及存储介质。

背景技术：

1、输电线路小目标设备在电力系统中发挥着重要作用，由于输电线路常年暴露在大气中受雨雪、冰雹、太阳光、暴晒以及大气中化学物质的侵害，容易造成输电线路腐蚀、破损的问题，这给电力系统安全可靠的运行带来了巨大隐患。传统的故障检测方法需要依靠人力进行输电线路的故障排除，但人工故障排除耗时耗力，并且部分输电线路架设在崎岖不平的山地，检测十分困难。

2、随着输电线路覆盖范围逐渐扩大，传统的人工巡检方式已经无法满足电力系统快速巡检的需求。近年来，基于深度学习的目标检测算法凭借着学习能力强检测效果好受到广泛关注。将基于深度学习的目标检测技术应用到输电线路的缺陷检测中，能够在很大程度上提高缺陷检测速度和检测精度，为准确快速查找缺陷区域提供了切实可行的技术支撑。其中，基于深度学习的目标检测器中最具代表性的是yolo系列检测器，如yolov5、yolov7等，现已被当作主流方法广泛地应用于各种表面缺陷检测领域中，其中亦包括输电线路小目标设备缺陷检测。然而输电线路小目标设备缺陷样本匮乏、目标较小，会导致模型检测精度低等问题，这些问题给不但要求所设计的检测器需具备极大长宽比目标特征的提取能力，也还需对存在多尺度、复杂背景状态的目标检测具有良好的泛化能力。

技术实现思路

1、本发明的目的是提供一种输电线路小目标设备小样本缺陷检测方法、装置及存储介质，通过在yolov7网络模型的特定位置引入注意力机制模块，解决了多尺度、复杂背景状态下的目标缺陷检测问题。本发明是通过以下技术方案实现的。

2、第一方面，本发明提供一种输电线路小目标设备小样本缺陷检测方法，包括：

3、获取待检测的输电线路图像；

4、对输电线路图像进行预处理；

5、将预处理后的输电线路图像输入至预先训练的输电线路小目标设备小样本缺陷检测模型，由所述输电线路小目标设备小样本缺陷检测模型输出分类结果；

6、根据输电线路小目标设备小样本缺陷检测模型分类结果标记检测到的目标缺陷，输出设备存在缺陷的输电线路图像；

7、其中，所述输电线路小目标设备小样本缺陷检测模型采用改进的yolov7网络模型，所述改进的yolov7网络模型包括顺次设置的输入层、特征提取层、特征融合层和输出层；其中，所述特征融合层包括注意力机制模块cbam。

8、可选的，所述注意力机制模块cbam包括串行连接的通道注意力模块cam和空间注意力模块sam；

9、可选的，所述通道注意力模块cam执行以下操作：对于高度，宽度和通道数分别为h、w和c的输入特征图f，分别经过全局最大池化和全局平均池化得到两个 h×w×1 的一维向量，再将这两个一维向量分别送入到一个多层感知机神经网络 mlp 中，将多层感知机神经网络mlp 计算输出的通道注意力图通过逐元素求和合并的操作，再经过sigmoid激活函数激活操作得到最终的通道注意力特征图mc(f)，通道注意力特征图mc(f)通过如下公式计算：

10、，

11、式中，f为通道注意力模块cam输入特征图，mc(f)为通道注意力特征图，为sigmoid激活函数，mlp是多层感知器，ayqpool是平均池化操作，指在通道上提取平均值，maxpool是最大池化操作，指在通道上提取最大值。

12、可选的，所述空间注意力模块sam执行以下操作：将所述通道注意力模块 cam 得到的通道注意力特征图mc(f)与输入初始特征图f进行逐元素相乘，得到所述空间注意力模块sam的输入初始特征图，记为f’，将输入特征图做基于通道的全局平均池化和全局最大池化，得到两个特征图，然后将这两个特征图做基于通道的拼接操作，接着经过一个7×7卷积操作，目的是降维到1个通道，即h×w×1，再经过sigmoid 激活后生成空间注意力特征图ms(f’)，最后将该特征ms(f’)和该模块的输入特征图f’相乘，得到最终生成的特征，空间注意力特征图ms(f’)通过如下公式计算：

13、，

14、式中，f’为空间注意力模块sam输入特征图，ms(f’)为空间注意力特征图，为sigmoid激活函数，f表示卷积操作，7×7表示卷积核的大小，ayqpool是平均池化操作，指在通道上提取平均值，maxpool是最大池化操作，指在通道上提取最大值。

15、可选的，所述获取待检测的输电线路图像包括以下三种并行的处理方式：

16、利用数据增强的方法，对获取的输电线路图像进行亮度处理、在图像中添加噪声以及通过图像旋转的方式对获取的图像样本进行扩充；

17、利用复杂背景图像ps缺陷的方法，在复杂的户外环境背景下人为的添加输电线路缺陷，从而扩充获取到的图像样本；

18、利用深度卷积生成对抗网络dcgan有目标地生成与原始图像数据相似度最高的图像数据，以此对获取到的图像样本进一步扩充，得到扩充后的图像样本。

19、可选的，所述利用深度卷积生成对抗网络dcgan有目标地生成与原始图像数据类似度很高的图像数据，包括：

20、所述深度卷积生成对抗网络dcgan是利用卷积神经网络的特征提取能力而提出的生成式模型，其包含一个生成器g和一个判别器d；

21、将符合概率分布的随机噪声z输入到所述深度卷积生成对抗网络dcgan的生成器g中，其通过反卷积结构生成符合训练数据的的虚假样本g(z)，判别器d不断区分生成数据是训练数据集中的真实样本x还是虚假样本g(z)，从而输出数据是真实数据real和生成器生成数据fake的概率y，判别器的输出结果y最终再反馈给生成器g和判别器d，生成器g接收到这些信息后更新自己的参数，进而生成更逼真的样本，判别器d接收到这些信息后也会更新自己的参数。

22、实际应用中，这个过程会不断重复，直到生成器g生成的样本足够真实，以至于判别器d难以区分真假样本，或者达到预设的训练迭代次数。在判别器d的约束下，生成器g能够在没有大量先验知识及先验分布前提下学习到真实数据的本质特征，从而生成与原始数据类似度很高的数据。同时，生成器d也会不断调整自己的参数，提高判断真实样本和生成虚假样本的准确率。

23、可选的，所述对输电线路图像进行预处理包括采用图像滤波和图像增强的方式对输电线路图像进行画质提升。

24、可选的，所述输电线路小目标设备小样本缺陷检测的训练方法，包括：

25、获取来源于不同输电线环境的图像样本及标注信息；

26、将图像样本划分为训练集样本和测试集样本；

27、对图像样本进行预处理，确定输电线路图像标注信息；

28、将预处理后的训练集样本和样本标注信息输入至预先构建的yolov7网络，对yolov7网络进行训练；

29、通过测试集样本检测已训练的yolov7网络的分类精度，若分类精度达到预设精度要求则停止训练，否则继续通过训练集样本进行yolov7网络的训练。

30、实际应用时，要将原始数据集进图像预处理以及标注图像中输电线路有缺陷的部分，得到实验所需数据集并按比例对其进一步划分，得到训练集和测试集以及待识别图像。从而将划分好的数据集输入改进的yolov7模型中进行训练，得到训练完成的输电线路小目标设备缺陷识别模型；最后将待识别图像放入该模型中，即可对图像中的输电线路小目标设备缺陷进行识别，并输出缺陷部份被标记的输电线路图像。

31、第二方面，本发明提供一种输电线路小目标设备小样本缺陷检测装置，包括：

32、图像获取模块，被配置用于获取待检测的输电线路图像；

33、预处理模块，被配置用于对输电线路图像进行预处理；

34、图像检测模块，被配置用于将预处理后的输电线路图像输入至预先训练的输电线路小目标设备小样本缺陷检测模型，由所述输电线路小目标设备小样本缺陷检测模型输出分类结果；

35、以及，检测输出模块，被配置用于根据输电线路小目标设备小样本缺陷检测模型分类结果标记检测到的目标缺陷，输出设备存在缺陷的输电线路图像；

36、其中，所述输电线路小目标设备小样本缺陷检测模型采用改进的yolov7网络模型，所述改进的yolov7网络模型包括顺次设置的输入层、特征提取层、特征融合层和输出层；其中，所述特征融合层包括注意力机制模块cbam。

37、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时，实现第一方面所述的输电线路小目标设备小样本缺陷检测方法的步骤。

38、有益效果

39、本发明提出的输电线路小目标设备小样本缺陷检测方法，以支持多尺度检测的yolov7网络模型为基础，在特定位置引入注意力机制模块cbam，能够抑制次要的通道特征信息，增强特征图中有用的注意力信息，从而使网络能够自动学习输入数据中重要的特征，提升了模型在图像中目标特征与背景特征相似的检测场景下对于待检测目标的准确性；

40、还通过深度卷积生成对抗网络dcgan有目标地生成与原始数据类似度很高的数据，以此丰富数据集，优化检测模型对小目标设备缺陷的检测效果，提高检测精度和网络泛化能力，避免网络过拟合。