基于红外图像和旋转目标框的输电线路避雷器检测方法

本发明涉及红外图像目标检测的，尤其是指一种基于红外图像和旋转目标框的输电线路避雷器检测方法。

背景技术：

1、避雷器是输电线路的基本组成部分，避雷器长期处于运行状态且受到环境因素的影响，往往会出现各种各样的故障，通常的表现形式为整体或局部的异常发热，因此避雷器的温度监测是输电线路安全监测的一个重要部分。由于红外热成像技术具有非接触、范围广、全天候、不受电磁干扰的优点，红外测温是电力设备温度监测的主要手段。目前，输电线路避雷器的温度监测主要依赖人工在红外图像上进行目标识别进而获取温度。这种人工识别的方式存在较强的主观性，耗时长，效率低，适应性差。

2、近年来，基于深度学习的目标检测技术的发展使自动识别红外图像中的避雷器成为可能。然而，现有的输电线路避雷器自动检测方法主要使用水平目标框检测，检测出的目标框内包含较多的背景部分，对输电线路避雷器的温度监测有较多干扰。同时，红外图像具有分辨率低、清晰度差、信噪比低的特点，图像质量差。因此，红外图像质量差和水平目标框内背景干扰多是实现高精度输电线路避雷器自动识别需要解决的问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供了一种基于红外图像和旋转目标框的输电线路避雷器检测方法，可有效实现红外图像输电线路避雷器的自动识别，为实现输电线路避雷器的自动温度监测提供基础，并解决红外图像质量差和水平目标框内背景干扰多的技术难题。

2、为实现上述目的，本发明所提供的技术方案为：基于红外图像和旋转目标框的输电线路避雷器检测方法，包括以下步骤：

3、步骤1，使用红外相机采集输电线路避雷器的红外图像，建立初始数据集；

4、步骤2，对初始数据集使用复制粘贴数据增强方式提高数据量，建立扩充数据集；

5、步骤3，对扩充数据集中的图像做图像增强预处理，提高图像的对比度和边缘清晰度，并标注避雷器的旋转目标框；

6、步骤4，利用标注后的数据集训练构建的避雷器检测网络，得到最优避雷器检测模型；其中，所述避雷器检测网络为改进的yolov5网络，其分别对yolov5网络的特征提取网络、特征融合网络和检测头都做改进；对特征提取网络的改进是：在特征提取网络中加入angleconv模块和采用分组空间注意力和增加输入输出直连的改进cbam注意力模块；对特征融合网络的改进是：在自上而下的特征融合部分添加1/8到1/4尺度的特征融合，在自下而上的特征融合部分添加1/4到1/8尺度的特征融合并删除1/16到1/32尺度的特征融合，将自下而上的特征融合部分的concat操作替换为自适应特征融合模块，并且加入连接自上而下和自下而上两个特征融合路径的conv模块来调整自适应特征融合模块输入特征的通道数；对检测头的改进是：将检测头的三个检测尺度由1/8、1/16、1/32改为1/4、1/8、1/16，并将水平目标框检测头改进为旋转目标框检测头，把检测头对水平目标框宽、高的预测分别改进为对旋转目标框长边、短边的预测，同时增加180个预测通道预测旋转目标框的角度，分别对应0-180度以1度为间隔的180个类别，旋转目标框的角度采用长边表示法；

7、步骤5，将待检测的输电线路红外图像经过步骤3的图像增强预处理后输入到最优避雷器检测模型，得到避雷器置信度和旋转目标框信息。

8、进一步，在步骤2，所述复制粘贴数据增强方式具体如下：

9、以一张图像作为目标源图像，以另一张图像作为背景图像，确保目标源图像和背景图像的宽高一致，使用labelme软件对目标源图像标记至少一个多边形粘贴块；读取目标源图像的标记文件中的所有多边形粘贴块，初始化用于记录生成新图中已粘贴的粘贴块位置的列表list为空列表，记w＝图像的宽，h＝图像的高，依次对每一个多边形粘贴块做以下操作：

10、a、记当前多边形粘贴块的最小横向坐标为xmin、最大横向坐标为xmax、最小纵向坐标为ymin、最大纵向坐标为ymax；

11、b、随机生成当前多边形粘贴块的横向平移量tx和纵向平移量ty，并使tx、ty满足边界约束条件，即-xmin＜tx＜w-xmax且-ymin＜ty＜h-ymax；

12、c、判断当前多边形粘贴块按照平移量(tx,ty)平移后的最小外接水平矩形框是否与新图中已粘贴的多边形粘贴块各自的最小外接水平矩形框重叠，如果有重叠，则重新生成平移量(tx,ty)并再次尝试当前多边形粘贴块按照平移量(tx,ty)平移后的最小外接水平矩形框是否与新图中已粘贴的多边形粘贴块各自的最小外接水平矩形框重叠；若尝试次数超过预设限制，则跳过当前多边形粘贴块；

13、d、按照平移量(tx,ty)将当前多边形粘贴块粘贴在背景图像上，并在列表list中记录当前多边形粘贴块在新图中的位置(xmin+tx,xmax+tx,ymin+ty,ymax+ty)，其中，(xmin+tx,xmax+tx,ymin+ty,ymax+ty)分别表示该粘贴块在新图中的最小横向坐标、最大横向坐标、最小纵向坐标和最大纵向坐标。

14、进一步，所述步骤3包括以下步骤：

15、步骤3.1，将图像分块，确定平台直方图阈值t，对每一分块的原始直方图按以下公式处理得到平台直方图：

16、

17、式中，k是灰度值，pt(k)是平台直方图，pr(k)是原始直方图；然后计算平台直方图的累计函数ft(k)，表示为：

18、

19、式中，pt(j)表示灰度值j的平台直方图值；

20、计算灰度值k对应的平台直方图均衡化后的灰度值rt(k)，表示为：

21、

22、式中，ft(k)表示灰度值k对应的平台直方图的累计函数的值，ft(255)表示灰度值255对应的平台直方图的累计函数的值；

23、对rt(k)值做等间隔处理，由于rt(k)≥rt(k-1)，依次计算k从0到255时rt(k)值的排序o(k)，记o(0)＝0，o(k)的计算式表示为：

24、

25、式中，rt(k)表示灰度值k对应的平台直方图均衡化后的灰度值，rt(k-1)表示灰度值k-1对应的平台直方图均衡化后的灰度值，o(k-1)表示灰度值k-1对应的平台直方图均衡化后的灰度值rt(k-1)值的排序；

26、计算等间隔平台直方图均衡化后的灰度值和原始灰度值的映射关系f(k)，具体计算式表示为：

27、

28、按照每一分块的映射关系f(k)将原始图像转换成新的图像，即得到局部等间隔平台直方图均衡化的图像；

29、步骤3.2，对局部等间隔平台直方图均衡化的图像做拉普拉斯锐化，得到预处理后的红外图像。

30、进一步，在步骤4，所述angleconv模块的第一分支串联一个conv模块得到特征图i1，第二分支先串联一个将通道数转变为四分之一的conv模块，再并联四个角度分别为θ1、θ2、θ3、θ4的斜卷积模块得到特征图i2、i3、i4、i5，接着以第一分支的输出i1和第二分支的输出i2、i3、i4、i5为输入，经过concat操作后串联一个将通道数减半的conv模块得到angleconv模块的输出特征图；所述斜卷积模块具体执行以下操作：首先，将特征图四周补零使特征图的宽、高均等于补零前特征图的对角线长度，其次，将特征图旋转角度-θj'，j'＝1,2,3,4，再串联一个逐通道卷积层，接着将输出特征图旋转角度θj'，然后去除四周补零位置的元素使特征图恢复到原来的宽、高，得到斜卷积模块的输出特征图。

31、进一步，在步骤4，所述改进cbam注意力模块具体执行以下操作：在其空间注意力模块，把其通道注意力模块的输出特征以128个通道为一组分组，在通道维度计算各组的最大值和平均值，接着串联一个输出通道数为1的卷积层经过sigmoid函数后与通道注意力模块的输出相乘，得到空间注意力模块的输出，然后经过sigmoid函数与cbam注意力模块的输入相乘，得到改进cbam注意力模块的输出特征图。

32、进一步，在步骤4，所述自适应特征融合模块具体执行以下操作：以两个输入特征图作为输入，经过concat操作，再串联输出通道数为2的conv模块，之后在通道维度应用softmax函数，以各空间位置的两个数值分别作为该空间位置两个输入特征的加和权重，加权求和得到输出特征图，表示为：

33、o＝w[0]⊙i'1+w[1]⊙i'2

34、w＝softmax(conv(concat(i'1,i'2)))

35、式中，i'1、i'2表示两个输入特征图，o表示自适应特征融合后的输出特征图，w是两通道的权重张量，w[0]是w的第一个通道的权重矩阵，w[1]是w的第二个通道的权重矩阵，⊙表示点乘操作，concat表示在通道维度做concat操作，conv表示conv模块，softmax表示在通道维度做softmax操作。

36、进一步，在步骤4，在训练避雷器检测网络时，角度预测训练的损失lθ计算式表示为：

37、

38、式中，ti是第i个角度类别的标签值，pi是第i个角度类别的预测值，sigmoid表示sigmoid函数，ti的具体计算式是：

39、

40、n0(i)＝argminn(|u+180×n-i|),n的取值范围是整数

41、式中，u是真实的旋转目标框对应的角度类别，取值范围是0,1,2,…,179，σ表示角度标签的正态分布的标准差，取适当值，n0(i)表示使|u-180×n-i|取最小值的n值；

42、置信度预测训练的损失lobj的计算式是：

43、

44、lobj＝-(y′log(sigmoid(p))+(1-y′)log(1-sigmoid(p)))

45、式中，prbox是预测的旋转目标框，trbox是真实的旋转目标框，inter(prbox,trbox)代表两个旋转目标框的交集面积，union(prbox,trbox)代表两个旋转目标框的并集面积，p是置信度预测值，y′是置信度标签值，sigmoid表示sigmoid函数；

46、使用改进的ciou计算旋转目标框位置、长短边预测损失，改进的ciou计算式具体是：

47、

48、式中，x、y、l、s分别是预测的目标中心横坐标、目标中心纵坐标、目标长边长度、目标短边长度，b表示以x、y、l、s分别作为中心位置横坐标、中心位置纵坐标、宽度、高度的水平矩形框，bgt表示以x、y、l、s的真实值作为中心位置横坐标、中心位置纵坐标、宽度、高度的水平矩形框，ρ(b,bgt)表示b和bgt的中心点的欧氏距离，iou表示b和bgt的交并比，c表示能够同时包含b和bgt的最小外接水平矩形框的对角线长度，lgt和sgt分别表示目标长边长度的真实值和短边长度的真实值，v、α、是中间变量。

49、本发明与现有技术相比，具有如下优点与有益效果：

50、1、本发明提供了一种复制粘贴数据增强方法，可以有效扩大样本数据量，解决样本数据少的问题。

51、2、本发明提供了一种结合局部等间隔平台直方图均衡化和拉普拉斯锐化的图像增强方法，能够提高图像对比度和图像中的边缘的清晰度，解决红外图像质量差的问题。

52、3、本发明构造了基于斜卷积模块的angleconv模块、采用分组空间注意力和增加输入输出直连的改进cbam注意力模块、自适应特征融合模块、旋转目标框检测头的避雷器检测网络，可以减少背景对输电线路避雷器温度监测的干扰，并提高避雷器检测模型的检测精度和泛化能力。

53、4、本发明使用预测的旋转目标框和真实旋转目标框的iou作为正样本置信度的标签，可以抑制与真实目标框重叠较小的预测目标框的得分，从而减少误检；并设计改进的ciou计算旋转目标框位置、长短边预测损失，该损失相比原来的ciou损失更适应输电线路避雷器长短边比值较大的特点，可以提高避雷器检测模型的检测精度和泛化能力。