一种基于注意力金字塔卷积神经网络的渗漏油识别方法

本发明涉及图像识别，尤其涉及一种基于注意力金字塔卷积神经网络的渗漏油识别方法。

背景技术：

1、随着电力设备规模的日益发展，对电力设备的安全运行和供电可靠性的要求越来越高。电力设备在工业生产中起重要的作用，其安全稳定运行对保证工业生产的安全起着决定性作用。当电力设备发生渗漏现象时，识别出渗漏油的类别是电力巡检工作的重点之一，因此高效、准确的识别渗漏油类别的需求愈加迫切。传统的渗漏油识别通常是由检修员利用肉眼巡视，这种方法虽然简单，但效率低、周期长、劳动强度大、费用高且危险性大。近年来，借助图像设备的巡检方法逐渐得到普及，巡检人员借助摄像工具对电力设备拍摄照片在地面进行检测，但大多数渗漏油的识别是由巡检人员依赖经验判断，仍会发生疏漏或误判、并且耗费大量的人力物力，并效率未得到提高，存在检测时间长、实时性差等诸多问题。

2、随着工业生产朝着智能化方向发展，电力设备巡检也朝着自动化方向发展，渐渐将图像识别技术运用于渗漏油识别中。电力设备中渗漏油的识别主要是将渗漏油的类别识别出来，在众多识别算法中，现有技术已具有一定的识别效果，但是识别准确率受外界环境影响严重，适用性差，这些问题在一定程度上阻碍了图像识别技术的发展和在相关领域的应用。

技术实现思路

1、本发明的目的是提供一种基于注意力金字塔卷积神经网络的渗漏油识别方法，极大程度的提升了对渗漏油的类别识别的准确率，提高电力巡检的效率。

2、为了实现上述目的，本发明所采用的技术方案是：一种基于注意力金字塔卷积神经网络的渗漏油识别方法，包括如下步骤：

3、步骤1、采集n张渗漏油原图像，并对渗漏油原图像进行预处理；

4、步骤2、对预处理后的渗漏油原图像输入网络模型中，网络模型中的特征提取模块对预处理后的渗漏油原图像进行特征提取得到渗漏油原图像的图像特征；

5、步骤3、基于得到渗漏油原图像的图像特征搭建粗粒度特征金字塔模块；

6、步骤4、基于粗粒度特征金字塔模块，利用通道注意力机制模块和空间注意力机制模块帮助网络关注重要区域，得到粗粒度注意力金字塔；

7、步骤5、对粗粒度特征金字塔模块各层特征进行拼接，采用粗粒度特征基分类器进行对拼接后的特征进行类别预测并利用交叉熵损失函数计算损失；同时利用粗粒度注意力基分类器对粗粒度特征金字塔的每一层特征进行分类预测并且利用交叉熵损失函数计算损失；粗粒度阶段的预测结果取拼接后的特征以及每一层特征分类预测结果的平均值；

8、步骤6、将步骤4中的空间注意力机制模块的空间注意力权重作为锚分数，将具有单一尺度和纵横比的锚框分配给每个金子塔层级，利用非极大抑制函数对锚框和注意力分数去除重叠部分并合并相关区域，对于每个金字塔层，选择k个信息区域，然后生成roi金字塔；

9、步骤7、基于roi金字塔，随机选择一个roi区域并在特征金字塔的底层特征上随机选择一部分区域记为rs，并以相同的概率在rs内选择一个区域记为rs，将rs缩放为与特征金子塔的底层特征相同的采用率，通过将该区域内的值置为0，将该区域特征丢弃，从而得到丢弃后的特征图；合并roi金字塔的所有层，并得到可以融合所有roi区域的最小矩形边框，并得到矩形区域坐标，将矩形区域放大到和输入特征相同大小得到放大后的特征，然后对放大后的特征利用conv4和conv5进行提取特征，得到细粒度特征；

10、步骤8、基于步骤7中得到的细粒度特征搭建细粒度特征金字塔模块；

11、步骤9、基于细粒度特征金字塔模块，利用通道注意力机制模块和空间注意力机制模块帮助网络关注重要区域，得到细粒度注意力金字塔；

12、步骤10、对细粒度特征金字塔模块各层特征进行拼接，采用细粒度特征基分类器进行对拼接后的各层特征进行类别预测并利用交叉熵损失函数计算损失；同时利用细粒度注意力基分类器对细粒度特征金字塔的每一层特征进行分类预测并且利用交叉熵损失函数计算损失；细粒度阶段的预测结果取拼接后的各层特征以及每一层特征分类预测结果的平均值；

13、步骤11、利用集中分类器对步骤5得到的粗粒度阶段分类后的平均值和步骤10得到的细粒度阶段分类后的平均值，取二者的平均值，得到最终的分类结果。

14、优选的，所述步骤1中对渗漏油原图像进行预处理包括如下步骤：

15、步骤101、把渗漏油原图像缩放到600*600像素大小，以图像中心为中心裁剪一个大小为448*448像素的图像区域，接着对裁剪后的图片以50％的概率随机水平翻转；

16、步骤102、将翻转后的图片转成tensor数据类型；

17、步骤103、对tensor数据类型的进行正则化处理，正则化处理的rgb三个通道的均值分别为0.485，0.456，0.406，标准差分别是0.229，0.224，0.225。

18、优选的，所述步骤2中特征提取模块进行特征提取包括如下步骤：

19、步骤21、对输入的图像进行预处理，公式如下：

20、x＝maxpool(relu(bn((f7*7(b)))))

21、其中b表示输入的图像，f7*7表示卷积操作，卷积核大小为7*7，bn表示批量归一化操作，relu表示relu激活函数，maxpool表示最大池化操作，x表示预处理后的图像；

22、步骤22、特征提取模块利用resnet50的conv2，conv3，conv4，conv5对预处理后的图像进行处理，conv3，conv4，conv5输出分别表示为f3大小为56*56，通道数为512，f4大小为28*28，通道数为1024，f5大小为14*14，通道数为2048，作为渗漏油原图像的图像特征。

23、优选的，所述步骤3中搭建粗粒度特征金字塔模块利用resnet50的conv3，conv4，conv5残差块的输出f3,f4,f5分别作为粗粒度特征金字塔层的输入；搭建粗粒度特征金字塔顶层f5的公式如下：

24、f5_1＝x_master+x_gpb

25、x_master＝(relu((bn(f1*1(f5))))

26、x_gpb＝(relu((bn(f1*1(avgpool(f5)))))

27、f5_x＝f3*3(up(f5_1))

28、其中bn指的是标准化处理，f1*1表示卷积操作，卷积核大小为1*1，relu表示relu激活函数，avgpool表示最大池化操作，x_master指的是主分支，x_gpb指的是全局平均池化分支；

29、搭建粗粒度特征金字塔中间层f4公式如下：

30、f4_x＝f3*3(up(f1*1(f4)⊕up(f5_1)))

31、其中up指的是上采用操作，⊕表示加法运算；

32、搭建粗粒度特征金字塔最底层f3公式如下：

33、f3_x＝f3*3(up(f1*1(f3)⊕up(f4_1)))。

34、优选的，步骤4中对粗粒度特征金字塔模块利用通道注意力机制模块和空间注意力机制模块计算注意力权重公式如下：

35、

36、

37、其中，f表示粗粒度特征金字塔模块各层的特征图，mc和ms分别表示通道注意力机制模块和空间注意力机制模块，表示逐元素相乘，f’和f”分别表示进行了通道注意力和空间注意力后的输出特征图；

38、通道注意力机制模块公式如下：

39、

40、σ表示sigmoid激活函数，w0和w1分别表示俩个卷积操作，和分别表示平均池化和最大池化，μlp由俩个卷积层组成，第一个卷积层后使用relu激活函数；

41、空间注意力机制模块公式如下：

42、fs＝mc(f)*f

43、

44、其中：f7*7表示卷积核大小为7*7的卷积操作，和分别表示平均池化和最大池化。优选的，步骤5中对拼接后的各层特征进行类别预测以及对粗粒度特征金字塔的每一层特征进行分类公式如下：

45、out_x＝li(elu(bn(li(bn(fl(avgpool(f)))))))

46、out_concate＝li(elu(bn(li(bn(fl(f))))))

47、其中avgpool指的是平均池化操作，fl是展平操作，bn指的是归一化操作，li指的是全连接层，elu指的是激活函数，out_concate是粗粒度特征分类器的分类结果，out_x指的是粗粒度注意力特征金字塔各层的分类结果。

48、优选的，所述步骤8中搭建细粒度特征金字塔顶层fg_x4公式如下：x_master＝(relu((bn(f1*1(fg_x4))))

49、x_gpb＝(relu((bn(f1*1(avgpool(fg_x4)))))

50、fg_x4＝x_master+x_gpb

51、fg_f4＝f3*3(up(fg_x4))

52、其中bn指的是标准化处理，f1*1表示卷积操作，卷积核大小为1*1，relu表示relu激活函数，avgpool表示最大池化操作，x_master指的是主分支，x_gpb指的是全局平均池化分支，fg_x4表示细粒度特征，fg_f4表示细粒度特征金字塔的顶层特征；

53、搭建细粒度特征金字塔中间层fg_f3公式如下：

54、fg_f3＝f3*3(up(f1*1(fg_x3)⊕up(fg_x4)))

55、其中up指的是上采用操作，⊕表示加法运算，fg_x3表示经过resnet50的conv4处理的细粒度特征，fg_f3细粒度特征金子塔的中间层；

56、搭建细粒度特征金字塔最底层fg_f2公式如下：

57、fg_f2＝f3*3(up(f1*1(fg_x2)⊕up(fg_x3)))

58、fg_x2表示经过resnet50的conv5处理的细粒度特征，fg_f2细粒度特征金子塔的最低层，将三层特征进行拼接得到细粒度特征金字塔模块fg_concate。

59、优选的，所述步骤9中对细粒度特征金字塔模块与通道注意力机制模块和空间注意力机制模块融合公式如下：

60、

61、

62、其中，f表示粗粒度特征金字塔模块各层的特征图，mc和ms分别表示通道注意力机制模块和空间注意力机制模块，表示逐元素相乘，f’和f”分别表示进行了通道注意力和空间注意力后的输出特征图；

63、通道注意力机制模块公式如下：

64、

65、σ表示sigmoid激活函数，w0和w1分别表示俩个卷积操作，和分别表示平均池化和最大池化，μlp由俩个卷积层组成，第一个卷积层后使用relu激活函数；

66、空间注意力机制模块公式如下：

67、fs＝mc(f)*f

68、

69、其中：f7*7表示卷积核大小为7*7的卷积操作，和分别表示平均池化和最大池化。

70、优选的，所述步骤5中得出的粗粒度阶段分类后的平均值、步骤10得到的细粒度阶段分类后的平均值、最终的分类结果公式如下：

71、f′k＝(out_3+out_4+out_5+out_concate)/4

72、f′k2＝(out2_3+out2_4+out2_5+out2_concate)/4

73、f″k2＝(f′k+f′k2)/2

74、其中f′k指的是粗粒度阶段的分类后的平均值，f′k2指的是细粒度阶段的分类后的平均值，out_concate指的是粗粒度特征分类器的输出值，out_3、out_4和out_5指的是粗粒度注意力分类器的输出值，out2_concate指的是细粒度特征分类器的输出值，out2_3、out2_4和out2_5指的是细粒度注意力分类器。

75、本发明的有益效果是：

76、本渗漏油识别方法利用混合注意力金字塔卷积神经网络对图像进行分类，从而实现对渗漏油所属类别的精确识别。与传统方法相比，本发明方法采用混合注意力机制，利用金字塔结构，根据图像的纹理和颜色特征，将各个类别的图像具有区分性的部分，进行特征提取，避免了大量的计算，减少计算量，从而提升了运算速度。

77、本渗漏油识别方法采用俩阶段分类网络，利用双通道结构不仅可以实现精准的区域定位，还可以有效得学习高级语义和低级详细特征表示。

78、本渗漏油识别方法中步骤7包括roi引导的丢弃操作和roi引导的放大操作。roi引导的丢弃操作可以直接删除信息部分，并鼓励网络找到更多有区别的区域，从而达到更高的准确性。roi引导的放大操作将特征与消除的背景噪声对齐。