基于特征提取和跨尺度融合的绝缘子缺陷检测方法

本发明涉及绝缘子缺陷检测方法，具体为基于特征提取和跨尺度融合的绝缘子缺陷检测方法。

背景技术：

1、绝缘子缺陷检测方法主要有基于卷积神经网络和基于变压器两种主要结构。基于卷积神经网络的检测方法由以基于区域的卷积神经网络为主的两阶段方法发展到更简洁高效的一阶段方法。一阶段算法的工作流程通常包括预处理、特征提取、分类与定位以及后处理四个主要步骤。首先，对输入图像进行必要的预处理操作，如调整大小、归一化等，以适应网络输入的要求。随后，利用深度卷积神经网络强大的特征提取能力，从图像中抽象出高层次的特征表示。在特征图上，算法会预设一系列锚点，这些锚点作为参考框，用于覆盖图像中可能存在的物体。每个锚点都会经历两个并行分支的处理：分类分支负责预测锚点内是否包含特定类别的物体，而边界框回归分支则负责调整锚点的位置和大小，以更精确地匹配物体的实际边界。由于一阶段算法直接在整个特征图上进行预测，因此会产生大量的候选边界框。为了去除冗余和重叠的边界框，算法通常采用非极大值抑制等后处理技术，保留得分最高的边界框作为最终的检测结果。相较于一阶段算法，二阶段目标检测算法在追求检测准确性的道路上走得更远。二阶段算法的工作流程包括候选区域生成、特征提取、分类与定位以及后处理四个步骤。首先，利用区域提议方法(如选择性搜索、区域提议网络)从图像中提取出可能包含物体的候选区域。这些候选区域作为后续处理的输入，大大减少了需要处理的图像区域范围。接着，对每个候选区域进行特征提取。与一阶段算法类似，这里也采用卷积神经网络来提取候选区域的特征表示。然后，在提取的特征上应用分类器和边界框回归器，分别确定候选区域的类别和精确位置。最后，通过非极大值抑制等后处理技术去除重叠的边界框，得到最终的检测结果。

2、与基于卷积神经网络的目标检测方法不同的是，基于变压器的目标检测方法取消了非最大值抑制处理，并进一步发展到实时端到端的目标检测模型。基于变压器的目标检测方法巧妙地结合了卷积神经网络和变压器的优势，为目标检测任务提供了一个全新的视角。首先，卷积神经网络作为特征提取器，负责从输入图像中提取出高层次的特征表示。这些特征图不仅包含了丰富的空间信息，还蕴含了图像的纹理、颜色等底层特征。随后，这些特征图被送入变压器的编码器部分，编码器通过自注意力机制，进一步挖掘特征图中不同位置之间的全局依赖关系，增强模型对图像内容的整体理解。在解码器阶段，基于变压器的目标检测器采用了与自然语言处理中变压器相似的结构，但目标是为了生成目标检测结果。解码器的输入包括一系列可学习的目标查询，这些查询可以理解为对图像中潜在目标的“提问”。解码器通过交叉注意力机制，将编码器输出的特征图与这些目标查询相结合，逐步细化每个目标的类别预测和边界框回归。最终，通过一次前向传播，基于变压器的目标检测方法就能直接输出图像中所有目标的检测结果，无需像传统方法那样依赖复杂的后处理步骤。

3、然而，基于卷积神经网络的检测方法在特征提取阶段和在特征融合阶段直接所用轻量级卷积和轻量级骨干网络会降低模型对绝缘子缺陷的检测精度。基于变压器的检测方法在特征提取阶段直接使用轻量级的骨干网络无法满足高准确率的检测要求。同时在特征融合阶段使用注意力机制会增加模型的参数，不满足轻量化的需求。因此，基于变压器的检测方法需要一个轻量高效的特征提取网络以及一个在性能和参数保持平衡的特征融合方案。鉴于此，本发明提出一种基于特征提取和跨尺度融合的绝缘子缺陷检测方法以解决上述问题。

技术实现思路

1、1、本发明要解决的技术问题

2、本发明的目的在于提出基于特征提取和跨尺度融合的绝缘子缺陷检测方法以解决背景技术中该所提出的问题。本发明设计了一个更高效和轻量的特征提取结构(快速多尺度提取模块)以解决检测方法在特征提取阶段特征提取能力不足的问题；同时还设计了更轻量的融合模块(高效特征融合模块)和更高效的融合网络(交叉加权双向特征金字塔网)以解决现有检测方法在特征融合阶段模型参数较大的问题。

3、2、技术方案

4、为实现上述目的，本发明提供如下技术方案：

5、基于特征提取和跨尺度融合的绝缘子缺陷检测方法，通过训练获得一个缺陷检测模型，以寻找所检测绝缘子图像中存在的缺陷，所述方法包括以下步骤：

6、s1、输入图像数据集以及相对应的标签数据集：给定绝缘子图像数据集，所述数据集包含原始图像和与之一一对应的标签文件；对数据集中的原始图像进行拼接操作，然后对拼接后的图像进行缩放操作，将其调整为统一尺寸；通过有监督学习任务的训练和评估，利用已有的标签文件中的标注信息，训练出一个识别图像缺陷类型的神经网络模型；使用一组预设定的锚框以预测不同尺寸和长宽比的目标，在模型训练过程中，根据目标的实际尺寸和长宽比，自适应调整锚框的大小；

7、s2、特征提取：设计一个轻量级快速多尺度提取模块，对输入图像进行卷积和池化操作，将原始输入图像转化为多层特征图，提取具有丰富语义信息的特征表示，将最终的输出特征图表征绝缘子缺陷的位置和类别；

8、s3、特征融合：设计一个高效特征融合模块，将不同层级的特征图结合起来，生成具有多尺度信息的特征图，以提高目标检测的准确率，具体包括如下内容：

9、s3.1、将特征融合过程分为自顶向下和自下向上两个部分；

10、s3.2、通过上采样操作和下采样操作将不同层次的特征图融合在一起，生成交叉加权双向特征金字塔网络；

11、s3.3、对自顶向下部分和自下向上部分的特征图进行融合，得到最终的特征图，用于绝缘子缺陷检测；

12、s4、解码：通过交并比感知查询选择，从交叉加权双向特征金字塔网络的输出中选择图像特征；最后，通过解码头获得目标的置信度分数和边界框。

13、优选地，所述s2具体包括如下内容：

14、s2.1、快速多尺度特征提取模块通过部分卷积对输入的图像特征进行初始的轻量卷积操作，部分卷积选择一个通道子集进行卷积操作，剩余通道保持不变；部分卷积的输出的函数表示为：

15、pout＝gpconv(fx,cp,n)

16、其中，fx表示输入特征；pout表示部分卷积之后的输出；gpconv(·)表示部分卷积操作；cp表示实际进行卷积操作的通道，n的值为cp/c；

17、s2.2、部分卷积完成后，使用多层感知机学习更复杂的特征表征，并通过正则化技术提高神经网络模型的泛化能力；

18、s2.3、通过轻量级注意力模块增强神经网络模型复杂特征的提取能力，快速多尺度提取模块的最终输出的函数表示为：

19、fout＝gema(gdroppath(gmlp(pout)))

20、其中，fout表示经过快速多尺度提取模块增强后的特征；gmlp(·)表示多层感知机；gdroppath(·)表示正则化技术；gema(·)表示高效多尺度注意力模块。

21、优选地，所述高效特征融合模块包括具体指高效语义和细节融合模块，其负责两层以上的特征融合，具体实现流程如下：

22、(1)假设存在k个不同尺寸的输入特征，高效语义和细节融合模块的强化融合过程的函数表示为：

23、

24、其中，表示高效语义和细节融合模块的第k个输入；multiply(·)

25、为逐元素乘法；gghostconv(·)为轻量级的幽灵卷积；

26、强化融合过程具体表示为：高效语义和细节融合模块首先通过resize(·)操作将k个输入的尺寸统一为第一个输入的特征尺寸大小；对于处理后的每个相同尺寸的特征，高效语义和细节融合模块通过轻量级的幽灵卷积gghostconv(·)增强语义信息的流通和融合；最后，通过高效的逐元素乘法multiply(·)融合所有的特征，保留重要的空间信息和细节特征；

27、(2)令高效语义和细节融合模块的输出为iout，卷积层完成二次特征增强，得到输出结果cout，该过程的函数表示为：

28、cout＝gsilu(gbn(conv1(iout)))

29、其中，conv1(·)表示卷积核大小为1×1的卷积操作；gbn(·)和gsilu(·)分别表示归一化层和silu激活函数；

30、(3)在训练阶段使用多分支的卷积层完成重参化卷积操作；在推理阶段进行重参化卷积时，将分支的参数重参数化到主分支上，形成一个等价的单一卷积层，以减少内存消耗；将步骤(2)中所得的cout经过三次重参化卷积操作以持续增强关键特征，得到输出rout，该过程的函数表示为：

31、eout＝gsilu(gbn(conv1(add(cout，rout))))

32、其中，eout表示高效特征融合模块融合多层特征输入后的强化特征输出；add(fx，fx)表示两个特征的逐元素相加。

33、优选地，所述交叉加权双向特征金字塔网络将自顶向下和自底而上的双向路径扩充为三向路径，在自顶向下路径之前增加一条路径对输入进行预处理，增强输入的有用特征，将新增路径节点连接到同一层的自底而上路径的节点，加强相邻路径之间的信息传递；在同一路径下的两个相邻层之间增加了一个简易层来降低跨层次融合产生的信息丢失。

34、3、有益效果

35、(1)本发明提出了一个新的快速多尺度提取模块，其结合了部分卷积和高效多尺度注意力模块的优势，削减了骨干网络中冗余的卷积计算，大大提高了网络的特征提取能力。

36、(2)本发明提出了一个高效特征融合模块来有效融合不同层次的特征信息。高效特征融合模块通过新的高效语义和细节融合模块来增强每个输入层的特征信息，有效恢复特征图中的关键细节特征。同时采用模型重参化技术来减少内存消耗，提高特征融合效率。

37、(3)本发明设计了一个新的交叉加权双向特征金字塔网，通过多次加权融合了更多的特征，进一步提高了模型的检测精度。

38、(4)本发明设计了一个高效轻量的绝缘子缺陷检测模型，其通过多种高效轻量的设计实现复杂环境下的绝缘子缺陷检测。本发明的检测模型在开源的合成雾绝缘子数据集和自制绝缘子数据集的大量实验中都表现出良好的绝缘子缺陷检测能力。

39、(5)为了解决现有绝缘子数据集质量低、与真实环境不符的问题，本发明在野外采集了大量绝缘子缺陷图像。经过筛选和标注，本发明在实施例中构建了一个名为“自制绝缘子数据集”的数据集，其中包含2312张绝缘子图像，并标注了破损等缺陷类型。自制绝缘子数据集中的绝缘子图像背景复杂，包含树木、草地、农田和铁塔。此外，绝缘子缺陷的大小涵盖了大、中、小三种，这使得自制绝缘子数据集具有很强的多样性和代表性。