一种局部特征增强的Transformer故障分类方法

本发明涉及机械设备故障诊断方法领域，尤其是一种局部特征增强的transformer故障分类方法。

背景技术：

1、工厂中涉及的机械设备具有规模巨大、结构复杂、部件之间耦合性强等特点，设备种类繁多且信息量庞大，这对工业安全提出了巨大的挑战。此外，智慧工厂智慧车间的出现，自动化生产能力不断提高，生产过程几乎看不到操作人员。但大量投入的自动化机械设备仍需要技术人员来巡检维护，然而这不仅大大提高了人工成本，也降低了设备健康维护的效率。因此，运行设备的故障诊断研究迫在眉睫，一旦机械设备发生故障，将会影响生产过程正常运行，可能导致整条生产线瘫痪，对经济财产造成严重的损失乃至威胁人们的生命安全。

2、对于设备多种不同程度的故障，有些特征过于微弱，难以及时检测，扩展到一定程度时，将影响机械设备的正常运行和整体效能。因此，本发明对transformer模型进行改进，充分发挥transformer提取全局特征的能力和滑动窗口提取局部特征的优势，实现不同故障程度特征的高效表达，增强模型区分不同故障程度的能力，从而优化维修策略，降低成本支出。

技术实现思路

1、发明目的在于：提供一种局部特征增强的transformer故障分类方法，能够对多种类型不同程度故障进行识别。

2、技术方案：本发明所述的局部特征增强的transformer故障分类方法，包括如下步骤：

3、步骤1，对机械设备运行时的声音信号进行数据采集，并对数据采集获得的声音信号进行预处理，再将预处理后的声音信号划分为训练集、验证集以及测试集；

4、步骤2，对训练集、验证集以及测试集的声音信号进行多域特征提取，获取每帧声音信号的多域特征；

5、步骤3，搭建局部特征增强的transformer模型，并利用训练集提取的多域特征对搭建的transformer模型进行训练；

6、步骤4，利用验证集提取的多域特征对训练好的transformer模型进行验证，若验证准确率满足要求，则进入步骤5，若验证准确率不满足要求，则调整transformer模型的超参数，再返回步骤3；

7、步骤5，利用验证后的transformer模型对测试集提取的多域特征进行故障信号分类，完成对机械设备不同程度故障的分类。

8、进一步的，步骤1中，对声音信号进行的预处理包括信号增强处理、预加重处理、分帧处理以及加窗处理。

9、进一步的，步骤2中，多域特征包括时域特征、频域特征、梅尔倒谱系数以及伽玛通倒谱系数。

10、进一步的，步骤3中，搭建的局部特征增强的transformer模型由一维卷积层、位置编码层和三个编码器层组成；

11、一维卷积层用于对多域特征进行深层特征提取，同时改变输入的多域特征的通道数；

12、位置编码层用于捕获深层特征的位置信息；

13、编码器层由可变滑动窗口模块、多头注意力机制、前馈神经网络以及层归一化组成；其中，可变滑动窗口模块用于对位置编码层捕获的位置信息提取局部特征；多头注意力机制用于提供多个不同的表示子空间来获得注意力得分，并将注意力得分与可变滑动窗口模块输出的局部特征信息进行融合；前馈神经网络用于对融合后的注意力得分进行非线性变换；层归一化用于对多头注意力机制的输出和前馈神经网络的输出进行归一化处理。

14、进一步的，可变滑动窗口模块对位置编码层捕获的位置信息提取局部特征的具体步骤为：

15、首先由可变滑动窗口模块接收位置编码层输出的位置信息x；

16、然后对位置信息x通过两个不同的线性层进行变换；

17、最后将线性层的变换结果与可变滑动窗口模块的掩膜矩阵进行点积运算得到局部特征。

18、进一步的，对位置信息x通过两个不同的线性层进行变换的变换公式为：

19、s'(x,x)＝(wqx+b1)(wkx+b2)t

20、式中，s‘(·)代表相互作用，x为位置编码层输出的位置信息；wq和wk分别为两个线性层的权重矩阵，b1和b2分别为两个线性层的偏置向量；

21、将线性层的变换结果与可变滑动窗口模块的掩膜矩阵进行点积运算得到局部特征为：

22、ci＝f[s'(x,x),mask(w+i,x,x)]

23、式中，ci为局部特征，mask为每个编码器层对应的滑动窗口掩码矩阵，f[·]为点积运算；在掩模矩阵中，对角线w+i范围内的值为“1”，在其他位置的值为“0”；w+i表示可变滑动窗口模块对应第i层编码器层的滑动窗口大小。

24、进一步的，将注意力得分与可变滑动窗口模块输出的局部特征信息进行融合的融合公式为：

25、

26、式中，s为多头注意力机制输出的注意力分数，ddim为模型的输入维度，softmax[·]为归一化指数函数。

27、进一步的，一维卷积层采用1×1大小的卷积核，其尺寸为(35,10)，用于将35维的输入通道降为10维输出；位置编码层采用正余弦函数作为位置编码方式；编码器层的多头注意力机制采用5个注意力头。

28、进一步的，步骤3中，利用训练集提取的多域特征对搭建的transformer模型进行训练的具体步骤为：

29、首先进行参数初始化，设置初始学习率、批大小以及迭代次数，定义用于衡量模型输出结果与真实值之间差异的损失函数，选择优化算法用于更新模型参数；

30、然后将提取的多域特征作为训练集输入到局部特征增强的transformer模型中，使用损失函数计算模型输出与真实值之间的误差；

31、再判断是否达到最大训练次数，若达到最大训练次数，则结束训练，并保存模型参数，若未达到最大训练次数，则利用反向传播算法计算损失函数相对于每个权重和偏差的梯度，使用优化算法更新模型参数至transformer模型中进行下一轮训练。

32、进一步的，步骤4中，利用验证集提取的多域特征对训练好的transformer模型进行验证的具体步骤为：

33、步骤4.1，将验证集输入到训练好的transformer模型中进行分类处理，获得验证集的分类结果；

34、步骤4.2，根据验证集的分类结果计算出验证集的分类准确率，若分类准确率位于准确率阈值范围内，则输出验证准确率满足要求，若分类准确率不在准确率阈值范围内，则输出验证准确率不满足要求。

35、本发明与现有技术相比，其有益效果是：(1)在传统transformer模型的基础上引入了基于滑动窗口的掩码矩阵，利用可变滑动窗口进行局部特征提取，与传统transformer模型提取的全局特征进行融合，进而完成多故障分类；(2)该网络充分发挥了transformer模型提取全局特征的能力和滑动窗口操作提取局部特征的优势，提高了设备轻微故障特征的表达能力，增强了机械设备不同程度故障间区分能力，在实际工程应用中具有很大的意义。

技术特征：

1.一种局部特征增强的transformer故障分类方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的局部特征增强的transformer故障分类方法，其特征在于，步骤1中，对声音信号进行的预处理包括信号增强处理、预加重处理、分帧处理以及加窗处理。

3.根据权利要求1所述的局部特征增强的transformer故障分类方法，其特征在于，步骤2中，多域特征包括时域特征、频域特征、梅尔倒谱系数以及伽玛通倒谱系数。

4.根据权利要求1所述的局部特征增强的transformer故障分类方法，其特征在于，步骤3中，搭建的局部特征增强的transformer模型由一维卷积层、位置编码层和三个编码器层组成；

5.根据权利要求4所述的局部特征增强的transformer故障分类方法，其特征在于，可变滑动窗口模块对位置编码层捕获的位置信息提取局部特征的具体步骤为：

6.根据权利要求5所述的局部特征增强的transformer故障分类方法，其特征在于，对位置信息x通过两个不同的线性层进行变换的变换公式为：

7.根据权利要求4所述的局部特征增强的transformer故障分类方法，其特征在于，将注意力得分与可变滑动窗口模块输出的局部特征信息进行融合的融合公式为：

8.根据权利要求4所述的局部特征增强的transformer故障分类方法，其特征在于，一维卷积层采用1×1大小的卷积核，其尺寸为(35,10)，用于将35维的输入通道降为10维输出；位置编码层采用正余弦函数作为位置编码方式；编码器层的多头注意力机制采用5个注意力头。

9.根据权利要求4所述的局部特征增强的transformer故障分类方法，其特征在于，步骤3中，利用训练集提取的多域特征对搭建的transformer模型进行训练的具体步骤为：

10.根据权利要求1所述的局部特征增强的transformer故障分类方法，其特征在于，步骤4中，利用验证集提取的多域特征对训练好的transformer模型进行验证的具体步骤为：

技术总结本发明公开了一种局部特征增强的Transformer故障分类方法，步骤包括：对机械设备运行时的声音信号进行数据采集，并进行预处理，再划分为训练集、验证集以及测试集；对训练集、验证集以及测试集的声音信号进行多域特征提取，获取多域特征；搭建局部特征增强的Transformer模型，并对搭建的Transformer模型进行训练；对训练好的Transformer模型进行验证；对测试集提取的多域特征进行故障信号分类，完成对机械设备不同程度多种故障分类。该故障分类方法充分发挥了Transformer提取全局特征的能力和滑动窗口操作局部特征提取的优势，实现了特征的高效表达，提高故障分类过程中不同程度故障识别的准确性。技术研发人员：陈从颜,丁兰飒,王德政,魏笑亿受保护的技术使用者：东南大学技术研发日：技术公布日：2024/8/20