一种基于机器视觉的电力部件缺陷识别方法与流程

本发明属于计算机视觉领域，特别涉及一种基于机器视觉的电力部件缺陷识别方法。

背景技术：

1、基于机器视觉的电力部件缺陷识别是利用机器视觉技术对电力设备中的缺陷进行自动检测和识别。在电力系统中，各种电力设备如变压器、开关设备、输电线路等都可能出现各种不同类型的缺陷，这些缺陷可能会导致设备的性能下降、安全隐患以及停机维修等问题。因此，及早发现并识别这些缺陷对于维护电力系统的稳定运行至关重要。传统的电力设备缺陷检测通常依赖于人工目视检查，这种方法存在着识别效率低、主观性强、成本高等问题。而机器视觉技术的发展为电力部件缺陷识别提供了一种自动化、高效且精确的解决方案。通过机器视觉技术，可以利用摄像头或其他成像设备对电力设备进行实时监测和成像，然后利用机器视觉算法对图像进行分析和处理，从而实现对电力部件缺陷的自动检测和识别。

2、使用高光谱图像代替普通图像可为机器视觉带来更丰富的信息量，因为高光谱图像在每个像素点上收集了大量不同波长的光谱信息。这样的数据提供了更详细、更准确的物体特征，有助于提高物体识别和分类的准确性，以及更细致的表面分析和物体组成的检测。此外，高光谱图像还能够帮助区分不同材料和物质，提供更全面的场景理解和环境监测。

3、高光谱图像常常受到多种来源的噪声影响，例如传感器噪声、大气噪声、环境光线干扰等。这些噪声在图像中表现为随机或周期性的变化，降低了图像的质量和清晰度。在机器视觉检测中，噪声会干扰目标的边界、纹理和细节信息，使得目标检测、分类和分割等任务变得更加困难和不可靠。因此，去除噪声对于高光谱图像的处理和机器视觉检测至关重要。去除噪声可以提高图像的信噪比，增强目标与背景之间的对比度，使得目标更加突出、清晰，从而有助于机器视觉系统更准确地检测和识别目标。此外，去除噪声还有助于降低后续图像处理和分析的复杂度，提高机器学习和深度学习模型的训练效果，增强模型的鲁棒性和泛化能力。

技术实现思路

1、本发明提供一种基于机器视觉的电力部件缺陷识别方法，旨在提出高光谱去噪模块，应用在电力部件缺陷识别场景，包含谱空间卷积模块、引导光谱模块和调制前反馈网络，其中谱空间卷积模块作为3d卷积的轻量级替代方案，可提取更多空间谱相关特征；引导光谱模块可以进行自适应处理，在整个光谱带上执行自注意力，具有识别全局光谱相关性的能力，而且保持了线性复杂性；调制前反馈网络可以加强更多信息区域的激活，从而进一步增强聚合特征。

2、本发明旨在提出高光谱去噪模块，提供一种基于机器视觉的电力部件缺陷识别方法，包括以下步骤：

3、s1、获取电力部件缺陷图像，采集方式为使用高光谱相机进行现场拍摄，拍摄内容为电力部件缺陷区域，所有采集电力部件缺陷图像均为高光谱图像，且包含4种缺陷种类，包括绝缘子缺陷、输电线路缺陷、电力变压器缺陷和开关设备缺陷；

4、s2、制作电力部件缺陷训练数据集，对所有采集电力部件缺陷图像进行标注，标注种类为4种缺陷种类，将标注图像分为训练集、验证集和测试集，将训练集和验证集作为电力部件缺陷训练数据集；

5、s3、构建谱空间卷积模块ssc，包含空间分支和光谱分支；

6、s4、构建引导光谱模块gs，包含全局平均池化、线性投影和矩阵乘法；

7、s5、构建调制前反馈网络mffn，包含线性投影、激活函数、逐元素相加和逐元素相乘；

8、s6、构建变换器块，包含谱空间卷积模块ssc、引导光谱模块gs和调制前反馈网络mffn；

9、s7、构建高光谱去噪模块，包含多个变换器块、跳跃连接、残差连接和3d卷积；

10、s8、构建并训练机器视觉电力部件缺陷识别模型，包括输入、高光谱去噪模块、骨干网络、检测头和输出，使用电力部件缺陷训练数据集训练机器视觉电力部件缺陷识别模型；

11、s9、电力部件缺陷图像识别，通过高光谱拍摄设备拍摄电力部件缺陷区域，得到电力部件缺陷图像，电力部件缺陷图像均为高光谱图像，使用机器视觉电力部件缺陷识别模型识别电力部件缺陷图像，得到识别结果。

12、优选地，在s1步骤中，对于4种缺陷种类，绝缘子缺陷包括裂纹、污渍、表面破损和漏涂；输电线路缺陷包括输电线断裂、输电线腐蚀和杆塔倾斜；电力变压器缺陷包括接线端子松动、冷却器堵塞和变压器油泄漏；开关设备缺陷包括触头磨损、变形和断裂。

13、优选地，在s3步骤中，对于谱空间卷积模块ssc，输入x到两个并行分支，分别为空间分支和光谱分支，，在空间维度，空间分支使用多个空间块来提取特征，单个空间块由2d卷积和leaky relu组成，在光谱维度，光谱分支应用1×1卷积来关联所有空间的光谱信息，通过逐元素相加组合两个分支的输出，并得到ssc的输出。

14、优选地，在s4步骤中，对于引导光谱模块gs，输入，，沿输入的空间维度进行全局平均池化，获得和，，，对进行线性投影获得，，将和的转置矩阵进行矩阵乘法和softmax归一化，获得转置注意力图 ，，将与进行矩阵乘法获得输出，，将经过线性投影，并和输入逐元素相加得到gs的输出，，引导光谱模块gs的计算公式整体表达为，，为逐元素相加，为矩阵乘法，，为线性层实现的线性投影，为softmax函数。

15、优选地，在s5步骤中，对于调制前反馈网络mffn，输入，，输出，，，n为h、w和d的乘积，其中为逐元素相加，，为线性投影，，，n为h、w和d的乘积，为gelu激活函数，，；其中首先计算，为线性投影，，，n为h、w和d的乘积，然后将拆分为和，，，，，为逐元素相乘，为sigmoid函数。

16、优选地，在s6步骤中，对于变换器块，给定输入，有，，其中输入，为逐元素相加，中间输出，最终输出，和表示宽度和高度，表示光谱带的数量，表示特征图的数量，和表示最终输出的宽度和高度，表示最终输出的光谱带的数量，表示最终输出的特征图的数量，表示批量归一化，代表谱空间卷积模块，代表引导光谱模块，表示调制前反馈网络。

17、优选地，在s7步骤中，对于高光谱去噪模块，整体架构为具有跳跃连接的u形编码器和解码器结构，给定输入高光谱带噪声图像，将高光谱带噪声图像通过多个变换器块，在各级变换器中采用跳跃连接，使用残差连接将输入噪声图像逐元素相加到最终输出前，并得到最终输出。

18、与现有技术相比，本发明具有以下技术效果：

19、本发明提供的技术方案提出了高光谱去噪模块，应用在电力部件缺陷识别场景，高光谱电力部件缺陷图像有利于电力部件缺陷的精确识别，高光谱去噪模块可以进一步去除高光谱图像中的噪声，从而提高电力部件缺陷识别效果，高光谱去噪模块包含谱空间卷积模块、引导光谱模块和调制前反馈网络，其中谱空间卷积模块作为3d卷积的轻量级替代方案，可提取更多空间谱相关特征；引导光谱模块可以进行自适应处理，在整个光谱带上执行自注意力，具有识别全局光谱相关性的能力，而且保持了线性复杂性；调制前反馈网络可以加强更多信息区域的激活，从而进一步增强聚合特征。

技术特征：

1.一种基于机器视觉的电力部件缺陷识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于机器视觉的电力部件缺陷识别方法，其特征在于，在s1步骤中，对于4种缺陷种类，绝缘子缺陷包括裂纹、污渍、表面破损和漏涂；输电线路缺陷包括输电线断裂、输电线腐蚀和杆塔倾斜；电力变压器缺陷包括接线端子松动、冷却器堵塞和变压器油泄漏；开关设备缺陷包括触头磨损、变形和断裂。

3.根据权利要求1所述的一种基于机器视觉的电力部件缺陷识别方法，其特征在于，在s3步骤中，对于谱空间卷积模块ssc，输入x到两个并行分支，分别为空间分支和光谱分支，，在空间维度，空间分支使用多个空间块来提取特征，单个空间块由2d卷积和leaky relu组成，在光谱维度，光谱分支应用1×1卷积来关联所有空间的光谱信息，通过逐元素相加组合两个分支的输出，并得到ssc的输出。

4.根据权利要求1所述的一种基于机器视觉的电力部件缺陷识别方法，其特征在于，在s4步骤中，对于引导光谱模块gs，输入，，沿输入的空间维度进行全局平均池化，获得和，，，对进行线性投影获得，，将和的转置矩阵进行矩阵乘法和softmax归一化，获得转置注意力图 ，，将与进行矩阵乘法获得输出，，将经过线性投影，并和输入逐元素相加得到gs的输出，，引导光谱模块gs的计算公式整体表达为，，为逐元素相加，为矩阵乘法，，为线性层实现的线性投影，为softmax函数。

5.根据权利要求1所述的一种基于机器视觉的电力部件缺陷识别方法，其特征在于，在s5步骤中，对于调制前反馈网络mffn，输入，，输出，，，n为h、w和d的乘积，其中为逐元素相加，，为线性投影，，，n为h、w和d的乘积，为gelu激活函数，，；其中首先计算，为线性投影，，，n为h、w和d的乘积，然后将拆分为和，，，，，为逐元素相乘，为sigmoid函数。

6.根据权利要求1所述的一种基于机器视觉的电力部件缺陷识别方法，其特征在于，在s6步骤中，对于变换器块，给定输入，有，，其中输入，为逐元素相加，中间输出，最终输出，和表示宽度和高度，表示光谱带的数量，表示特征图的数量，和表示最终输出的宽度和高度，表示最终输出的光谱带的数量，表示最终输出的特征图的数量，表示批量归一化，代表谱空间卷积模块，代表引导光谱模块，表示调制前反馈网络。

7.根据权利要求1所述的一种基于机器视觉的电力部件缺陷识别方法，其特征在于，在s7步骤中，对于高光谱去噪模块，整体架构为具有跳跃连接的u形编码器和解码器结构，给定输入高光谱带噪声图像，将高光谱带噪声图像通过多个变换器块，在各级变换器中采用跳跃连接，使用残差连接将输入噪声图像逐元素相加到最终输出前，并得到最终输出。

技术总结本发明提出了一种基于机器视觉的电力部件缺陷识别方法，涉及计算机视觉领域，本发明提出了电力部件缺陷识别流程，包括获取电力部件缺陷图像、制作电力部件缺陷训练数据集、构建谱空间卷积模块SSC、构建引导光谱模块GS、构建调制前反馈网络MFFN、构建变换器块、构建高光谱去噪模块、构建并训练机器视觉电力部件缺陷检测模型和电力部件缺陷图像检测。本发明提出了高光谱去噪模块，包含谱空间卷积模块、引导光谱模块和调制前反馈网络，谱空间卷积模块可提取更多空间谱相关特征；引导光谱模块具有识别全局光谱相关性的能力，而且保持了线性复杂性；调制前反馈网络可以加强更多信息区域的激活，从而进一步增强聚合特征。技术研发人员：黄敏,陈亦寒,郭燕娜,梅沁,刘星晔,白晨阳,杨静泊受保护的技术使用者：无锡广盈集团有限公司技术研发日：技术公布日：2024/9/9