基于双流注意力卷积的感应电机红外图像故障诊断方法

本发明涉及典型武器装备故障诊断领域，具体地说，涉及基于双流注意力卷积(dual-stream attention convolutional，dsac)的感应电机红外图像故障特征提取及分类。

背景技术：

1、感应电机作为最普遍的动力源，在人类生活和现代工业生产过程中扮演着不可替代的角色，因其结构简单、维护方便、成本低廉和耐用性好等特点，它们被广泛应用于从制造业到能源生产，从交通运输到家庭电器等各种领域。然而，感应电机的故障会对生产效率和设备可靠性造成严重影响，研究表明，电机的工作温度每超过其额定值10℃，其寿命可能会缩短一半。因此及时且准确的故障诊断对于电机的维护和修理工作至关重要。

2、近年来，红外图像检测技术作为一种无接触、非破坏性、实时性强且灵敏度高的检测方法，已经被广泛应用于感应电机的故障诊断中。该技术能够捕捉感应电机工作过程中产生的热图像，从而帮助工程师识别电机内部或外部的故障，如过热、绝缘损伤、轴承问题等。借助该技术能够实现对电机运行状态的实时监测，很大程度上加强电力系统的故障预警能力，在故障发生之前采取相应的措施，减少不必要的损失。

3、目前对于感应电机故障诊断的方法主要分为两大类，信号检测分析法和红外图像检测法。信号检测分析法又包括电流信号检测，振动信号检测，电磁转矩检测等等。a.allal等提出基于希尔伯特变换的电流分析法，利用帕克矢量提取故障特征，提高了电机定子故障情况下的检测灵敏度，但该方法只局限于特定类型的故障且计算复杂度高。zuolu wang等提出一种基于振动分析的循环调制频谱方法，利用频谱相干性和增强包络谱提取故障特征，有效提高了电机转子故障的诊断精度，该方法无需接触电机，但是需要使用灵敏度较高的传感器且需要进行复杂的数据处理过程。hongrui cao等将经典小波变换与经验模态分解相结合来诊断非平稳信号，该方法在电机轴承故障诊断上具有不错的表现，但是依赖于信号特性，经验模态分解的过程中可能会导致信息损失，诊断精度受限。

4、总之，基于信号检测的分析方法需要安装大量的传感器进行数据采集，且电机中一些可能的故障引起的信号变化很微弱，这不仅使得电机故障诊断难度增加并且会增加诊断的时间和物料成本。红外图像检测法极大地简化了前期数据的采集，分析和预处理等工作，随着科学技术的发展，基于机器学习的红外图像故障诊断方法进一步提高了故障诊断的准确率和实时性。l duan等使用朴素贝叶斯分类器对增强后的机械红外图像进行研究，结果表明特征增强红外图像相比于传统方法可显著提高故障诊断精度。ylin等使用深度学习提取不同拍摄角度下的红外图像特征并结合阈值分析法实现了定量故障诊断。该方法特征提取效率高，但是模型过于复杂，实时性较差。amd younus等提出一种二维离散小波变换和支持向量机与线性判别分析方法相结合的方法，能够有效诊断出不同的机器状态，该方法准确率高，适用性强，但是需要进行复杂的特征选择与模型调优。j jiang等提出rcnn和改进的pcnn联合算法，该算法为绝缘子红外图像的诊断提供了可行且有优势的解决方案，但识别精度不够，计算速度也不能满足实时检测。nasiri a等提出了一种基于特定配置的深度卷积神经网络的散热器红外图像状态监测和智能故障检测方法，能够高效、准确地用于各种工况下的冷却散热器故障诊断和状态监测，但是该方法对样本数据集规模的需求大。l xin等提出了一种基于红外热成像驱动的改进高斯卷积深度置信网络，结果表明该网络可以很好地适用于用于转子-轴承系统时变转速下的各种故障自动诊断，但检测时间过长不能满足检测的实时性要求。本文在上述研究的基础上分析了限制红外图像故障诊断效果的因素，包括特征稀缺，类间特征相似和样本不平衡等。

技术实现思路

1、本发明针对上述现有技术的不足，提供一种基于双流注意力卷积(dsac)的感应电机红外图像故障诊断方法。

2、本发明解决技术问题的技术方案为：一种基于双流注意力卷积(dsac)的感应电机红外图像故障诊断方法，包括以下步骤：

3、s1：加载数据集并对所有的红外图像样本的进行特定概率的顺时针旋转和水平翻转操作；

4、s2：接着对步骤s1中生成的红外图像样本进行随机大小和长宽比的裁剪操作，然后将裁剪的图像大小调整为统一的像素；

5、s3：设置rgb通道的均值三元组和rgb通道的标准差三元组，标准化图像。

6、s4：建立基于双流注意力卷积(dsac)的感应电机红外图像故障诊断模型：利用上述预处理过的红外图像数据对构建好的dsac模型进行训练，得到一个感应电机红外图像故障诊断模型。所述dsac模型由一个双流卷积神经网络和两个卷积注意力机制模块组成。该模型的双流使用不同大小和尺度卷积核的卷积神经网络来提取特征。每流的结构依次为输入层，卷积层1，激活函数层1，最大池化层1，卷积层2，激活函数层2，最大池化层2，卷积层3，激活函数层3，卷积层4，激活函数层4，卷积层5，激活函数层5，最大池化层3，卷积注意力层，丢弃层，展平层，全连接层，softmax层，输出层。双流神经网络的区别主要在卷积核尺度和方向的不同，每个流的网络倾向于提取不同方向的特征信息。利用x方向和y方向的卷积核可以分别捕获各自方向特征信息，这些信息包含了上的温度分布，变化趋势等信息；随后使用卷积注意力机制对所提取到的双向特征进行计算并分配注意力权重。

7、s5：训练基于双流注意力卷积(dsac)的感应电机红外图像故障诊断模型。初始化dsac模型的参数，使用交叉熵损失函数作为模型的损失函数，使用adam优化器作为模型的优化器，添加模型评估指标，包括准确率，召回率以及f1分数。使用训练数据集进行模型的训练任务，监控并记录模型的训练过程，实时保存最优模型的参数，待训练完成后，所保存的模型参数即为最优模型参数。

8、s6：加载步骤s5中的最优模型参数至dsac模型，使用dsac模型对待诊断数据进行故障诊断，得出故障诊断准确率，召回率，f1分数和混淆矩阵。使用tsne降维可视化工具生成带有标签的tsne降维可视化结果图。

9、进一步地，所述步骤s1的具体过程为：

10、1)初始化给定翻转概率pr和旋转概率ps；

11、2)使用随机数生成器生成一个介于0到1之间的数，并将这两个随机数与的值比较，如果生成的随机数小于等于，则执行翻转操作。旋转操作重复上述步骤。；

12、3)如果需要翻转或者旋转，使用图像处理工具进行水平翻转或者顺时针180°旋转。

13、进一步地，所述步骤s2的具体过程为：

14、1)加载图像，随机选择一个纵横比ar和目标面积st作为裁剪的参数；

15、2)根据这些参数计算新的宽度wnew和高度hnew；

16、

17、

18、3)随机选择裁剪位置(x，y)；

19、4)使用步骤2)和3)中计算出的参数和位置裁剪图像，然后将裁剪后的图像调整到指定的大小。

20、进一步地，所述步骤s3的具体过程为：

21、1)将红外图像转化为numpy数组n，数据类型设置为float32；

22、2)将像素范围从[0,255]缩放至[0,1]；

23、3)调整数组的形状，从高度×宽度×通道(hwc)转换为通道×高度×宽度(chw)，即从数组n转化为pytorch张量t；

24、4)设置rgb通道均值三元组mean＝[ma，mb，mc]和标准差三元组std＝[sa，sb，sc]；

25、5)对张量t的每个通道，使用步骤4)中的mean和std对t进行归一化，这个过程如下式所示：

26、

27、其中，tk代表张量t的k通道，mk代表通道均值三元组的k通道,sk代表通道均值三元组的k通道,k＝a,b,c；

28、进一步地，所述步骤s4的具体过程为：

29、s4a：构建双流卷积网络。将步骤s3生成的张量数据作为输入，x流网络的特征提取网络模块的结构如下：通过5层卷积层和3层最大池化层进行特征提取，第1层卷积层采用48个(11,11)的卷积核，填充大小为2，步长为4；第2个卷积层的卷积核大小为(5,5)，填充大小为2，步长为1；第3-5个卷积层参数相同，卷积核大小变为(3,3)，填充大小为1，步长为1；最大池化层有3层，第一个池化层在第1个卷积层与第2个卷积层之间，池化窗口大小为(3,3)，窗口每次移动2个单位；第2个池化层在第2个卷积层与第3个卷积层之间，参数与第一个池化层相同；第3个池化层在最后一层卷积层之后，池化窗口为(3,1)，步长为(2,1)。激活函数选用relu；

30、y流网络的特征提取网络模块与x流相同，区别在第3个池化层，第3个池化层的池化窗口大小变为(1,3)，步长大小变为(1,2)。

31、s4b：引入卷积注意力网络。在完成双流网络的特征提取操作后，分别引入卷积注意力机制模块。卷积注意力模块的输入为特征提取网络的输出，首先通过一个卷积核大小为(1,1)，步长大小为1的卷积层将输入通道数从128调整为1，接着输入进sigmoid函数计算出注意力权重矩阵，最后将注意力模块的输入与注意力权重矩阵相乘，得到注意力模块的输出。

32、s4c：双流特征融合。最后进行特征融合，对双流网络的每一流网络所得到的特征空间块进行最大池化操作和转置操作后按照相同的维度拼接在一起，得到最终的特征空间块。接着添加一层展平层，将输出展平为一维向量。然后通过三个全连接层作为分类器进行最终的故障分类任务，其中第一个全连接层的大小为(2048，512)，第二个全连接层的大小为(512，128)，第二个全连接层的大小为(128，10)，丢弃层的丢弃率设为0.5，最后的全连接层神经元个数设为10。这样，本模型创建两个并行的卷积分支，每个分支使用不同大小和尺度的卷积核，然后将它们合并以获得更全面的特征表示。接着利用分类器获取最终的分类结果。

33、每一流网络的具体的计算过程如式(4)所示：

34、

35、d1＝max(c1)+bp1

36、

37、d2＝max(c2)+bp2

38、

39、

40、

41、da＝max(c5)+bp3

42、d＝att(d3)

43、q＝flatten(d)

44、hc＝f(wh·q+bh)     (17)

45、式(17)中，relu代表激活函数，p代表神经网络的输入，c1到c5代表卷积层的输出，w1到w5代表卷积层的权重，b1到b5代表卷积层的偏置。为卷积运算符。d1到d3代表池化层的输出，max代表使用最大池化函数，bp1到bp3代表池化层的偏置。q代表展平层的输出，flatten代表展平操作。hc为最终输出，f为全连接层的激活函数，wh为权重矩阵，bh为偏置。

46、最后，利用softmax函数对上面输出的特征向量进行分类，分类依据如下式所示：

47、

48、其中，hc为softmax层的输入，softmax(hc)为每一类的概率，θ为权重矩阵，p(u＝k|hc；θ)表示神经网络的输出u的值为k的概率，为十类分类结果的总次数，代表分类结果中第一类的总次数，最终以概率最大的u作为模型最终的分类结果。

49、进一步地，所述步骤s5的中的交叉熵损失函数为：

50、

51、其中，yi是真实标签的独热编码，表示样本属于第i个类别的标志(yi为0或1)；pi是模型的预测概率，表示样本属于第i个类别的概率。log表示自然对数。对于整个训练集，对所有样本的损失进行求和。

52、进一步地，所述步骤s5的中的adam优化器的实现步骤为：

53、1)计算梯度：计算当前参数值的梯度。

54、2)计算一阶矩估计：计算梯度的指数移动平均值，以获得平均梯度。一阶矩估计的更新规则如下：

55、mt＝β1·mt-1+(1-β1)·gt    (20)

56、其中，mt是时间步t时的一阶矩估计。β1是一阶矩估计的指数移动平均系数(通常接近1)。gt是时间步t时的梯度。

57、3)计算二阶矩估计：计算梯度的平方的指数移动平均值。二阶矩估计的更新规则如下：

58、

59、其中，vt是时间步t时的二阶矩估计。β2是二阶矩估计的指数移动平均系数(通常接近1)。是时间步t时的梯度的平方。

60、4)偏差校正：对一阶和二阶矩估计进行偏差校正。adam使用偏差校正项来修正偏差。修正的一阶和二阶矩估计为：

61、

62、其中，mt是时间步t时的一阶矩估计。β1是一阶矩估计的指数移动平均系数。vt是时间步t时的二阶矩估计。β2是二阶矩估计的指数移动平均系数。

63、5)更新参数：使用动量和自适应学习率来更新模型参数。

64、

65、其中，θt是时间步t时的参数值。α是学习率，是一个超参数。是偏差校正后的一阶矩估计。是偏差校正后的二阶矩估计。ε是一个小的常数，通常用来避免除以零的情况。

66、进一步地，所述步骤s6的中的模型评估指标具体为：

67、1)准确率。准确率表示正确分类的样本数与总样本数之间的比例。

68、

69、2)召回率。召回率也称为灵敏度或真正例率，它衡量了所有真实正例中模型正确识别的比例。

70、

71、3)f1分数。f1分数是准确率和召回率的调和均值。它是一个综合性能度量，适用于不平衡类别分布的问题。

72、

73、在式(12)-(14)中，tp表示真正例的数量。tn表示真负例的数量。fp表示假正例的数量。fn表示假负例的数量。

74、进一步地，所述步骤s5的中的最优模型判断的标准为：

75、模型的验证集的f1分数大于当前的f1分数的最大值。

76、本发明与现有技术相比，其显著优点为：该方法用双流卷积神经网络和卷积注意力相结合的方法建立典型武器装备故障诊断模型，该模型首先使用双流卷积神经网络分别提取红外图像的x和y方向空间特征，这种双流结构允许网络同时学习并利用x和y方向的信息，能够更全面地捕捉到红外图像中的温度分布和变化趋势。接着，引入卷积注意力机制为所得特征分配权重，卷积注意力层生成的注意力图能够在增强关键特征的同时抑制不重要的信息，增强dsac模型的关键特征聚焦性能。最后融合加权后的双流特征，实现感应电机红外图像故障诊断目标，提高故障诊断的准确性和适应性。