一种机电设备多模态数据融合故障诊断方法及装置

本发明涉及智能故障诊断，具体涉及一种机电设备多模态数据融合故障诊断方法及装置。

背景技术：

1、机电设备在各个行业中起着关键的作用，而故障的发生和及时诊断对于设备的可靠性和安全性至关重要。传统的故障诊断方法主要基于单一模态数据，如振动、温度、声音等，但这些方法存在一些局限性。例如，单一模态数据可能无法提供足够的信息来准确判断故障类型和严重程度，而且在复杂的机电系统中，不同模态的数据可能相互关联，缺乏综合分析的方法。

2、相比传统的基于单一模态数据的故障诊断方法，多模态数据融合的方法具有以下优势：首先，可以提供更丰富的信息，从而更准确地判断故障类型和严重程度；其次，可以利用不同模态数据之间的相互关联，提高故障诊断的准确性；此外，还可以提高系统的鲁棒性，对噪声和干扰具有更好的抗干扰能力。因此采用多模态数据融合故障诊断方法可以提供更准确和可靠的故障诊断结果，有助于提高机电设备的可靠性、安全性和运行效率。

技术实现思路

1、有鉴于此，本发明提供了一种机电设备多模态数据融合故障诊断方法及装置，能够利用采集的机电设备的声音和红外图像信号，实现不同模态数据信息的融合，并最终评估出机电设备的状态，实现故障诊断功能，进而保证机电设备的可靠运行，增强机电设备的安全性，能够解决现有技术单一模态数据无法提供足够的信息来准确判断故障类型和严重程度的技术问题。

2、为了解决上述技术问题，本发明是这样实现的。

3、一种机电设备多模态数据融合故障诊断方法，包括：

4、步骤s1：获取带有时间戳的待诊断的机电设备的声音信号和红外图像，基于时间戳对齐所述声音信号和所述红外图像，将对齐后的声音信号和红外图像按照时间维切片；

5、步骤s2：对每个声音信号切片数据：使用傅里叶变换方法提取所述声音信号切片数据的频域特征，并通过主成分分析方法对所述频域特征降维，得到所述声音信号切片数据的数值序列向量xa，使用lstm神经网络将xa处理成单位长度表示ha；对每个红外图像切片数据：提取所述红外图像切片数据的红外图像特征，并将红外图像特征处理成数值序列向量xf，使用lstm神经网络将xf处理成单位长度表示hf；由全部ha形成对齐后的声音信号的单模态表示，由全部hf形成对齐后的红外图像的单模态表示；

6、步骤s3：将所述对齐后的声音信号的单模态表示及所述对齐后的红外图像的单模态表示输入训练完毕的融合网络模型，生成融合特征；

7、步骤s4：将所述融合特征输入多层感知机，生成所述待诊断的机电设备的故障诊断结果。

8、优选地，所述步骤s2，通过主成分分析方法将所述频域特征投射到低维空间得到声音信号的数值序列向量xa，使用多个依次相连的深度可分离卷积模块提取红外图像特征，再由池化层将提取到的红外图像特征处理为一维红外图像特征，并将所述一维红外图像特征处理成数值序列向量xf；

9、所述深度可分离卷积模块包括深度卷积层和逐点卷积层；将所述红外图像切片数据输入所述深度卷积层，所述红外图像切片数据是具有三个输入通道的rgb图像；所述深度卷积层具有三个独立的卷积核，每个卷积核用于处理所述红外图像切片数据的一个通道的数据，即通过所述三个独立的卷积核对输入的每个通道进行独立的卷积操作，得到三个特征图作为所述深度卷积层的输出；所述逐点卷积层接收所述三个特征图，所述逐点卷积层使用1×1的卷积核分别对各个特征图进行卷积运算，将各个特征图的卷积运算结果进行拼接，作为所述深度可分离卷积模块的输出，即所述深度可分离卷积模块提取的红外图像特征；

10、其中，所述lstm神经网络分别处理声音信号的数值序列向量xa和数值序列向量xf，即将声音信号的数值序列向量xa和数值序列向量xf分别作为输入序列，通过遍历输入序列的每个时间步来更新所述lstm神经网络的内部状态，并在最后一个时间步产生一个隐藏状态作为编码结果，即产生单位长度表示ha和hf。

11、优选地，所述步骤s3，所述融合网络模型包括多个依次相连的线性子模块，最后的一个线性子模块连接有线性层；所述线性子模块包括依次相连的线性层、非线性激活层；

12、所述融合网络模型由多个堆叠的线性层和激活函数组成；所述融合网络模型将所述对齐后的声音信号的单模态表示及所述对齐后的红外图像的单模态表示转换为融合特征；

13、所述融合网络模型的训练方式为:

14、所述融合网络模型基于训练数据生成融合特征，将所述融合特征输入对比预测编码模块，所述对比预测编码模块包括反向预测网络子模块和噪声对比估计子模块；所述反向预测网络子模块接收所述融合特征，所述反向预测网络子模块为线性层，用于将所述融合特征反演为两个单模态特征，分别为声音单模态特征和图像单模态特征，所述声音单模态特征包括预测值，预测值反应了所述声音单模态特征与所述融合特征的相关性，所述图像单模态特征包括预测值，预测值反应了所述图像单模态特征与所述融合特征的相关性；所述噪声对比估计子模块接收生成融合特征的声音信号的单模态表示、红外图像的单模态表示、以及各个单模态特征的预测值，计算各个单模态特征对应的损失函数值，所述损失函数值用于表示单模态特征与所述融合特征的相关性，基于损失函数值表示的相关性确定单模态特征对应的单模态表示是否与所述融合特征匹配；将与所述融合特征匹配的单模态表示作为正样本，生成正样本标记，将与所述融合特征不匹配的单模态表示作为负样本，生成负样本标记；基于生成的全部标记，确定声音信号的单模态表示与红外图像的单模态表示融合过程中所产生的损失；所述融合网络模型以最大化融合特征与正样本之间的相关性、最小化融合特征与负样本之间的相关性为优化目标，调整所述融合网络模型的参数。

15、优选地，所述损失函数值通过损失函数计算得到，所述损失函数为：

16、

17、其中，z为融合特征，hm为单模态表示，eh表示对同一批次的训练样本求期望，s(z,hm)＝exp(cos＜gφ(z),hm＞)为评分函数，其中gφ表示参数为φ的神经网络，gφ(z)表示输入了融合特征z的神经网络，和分别为正样本和负样本。

18、优选地，将所述融合网络模型与故障诊断任务基于训练数据进行整体训练；

19、所述整体训练的总损失为交叉熵损失与融合过程产生损失的加权组合：

20、

21、其中，α为超参数，为声音信号的单模态表示与红外图像的单模态表示融合过程中所产生的损失；

22、交叉熵损失函数计算公式为

23、

24、其中，k表示类别标签的维度，yi是真实标签向量的第i个元素，pi是预测概率向量的第i个元素。

25、本发明所提供的一种机电设备多模态数据融合故障诊断装置，包括：

26、预处理模块：配置为获取带有时间戳的待诊断的机电设备的声音信号和红外图像，基于时间戳对齐所述声音信号和所述红外图像，将对齐后的声音信号和红外图像按照时间维切片；

27、特征提取模块：配置为对每个声音信号切片数据：使用傅里叶变换方法提取所述声音信号切片数据的频域特征，并通过主成分分析方法对所述频域特征降维，得到所述声音信号切片数据的数值序列向量xa，使用lstm神经网络将xa处理成单位长度表示ha；对每个红外图像切片数据：提取所述红外图像切片数据的红外图像特征，并将红外图像特征处理成数值序列向量xf，使用lstm神经网络将xf处理成单位长度表示hf；由全部ha形成对齐后的声音信号的单模态表示，由全部hf形成对齐后的红外图像的单模态表示；

28、融合模块：配置为将所述对齐后的声音信号的单模态表示及所述对齐后的红外图像的单模态表示输入训练完毕的融合网络模型，生成融合特征；

29、诊断模块：配置为将所述融合特征输入多层感知机，生成所述待诊断的机电设备的故障诊断结果。

30、本发明所提供的一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述方法。

31、本发明所提供的一种电子设备，其特征在于，所述电子设备，包括：

32、处理器，用于执行多条指令；

33、存储器，用于存储多条指令；

34、其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述方法

35、有益效果：

36、(1)本发明通过采集机电设备的声音和红外图像信号，并利用傅里叶变换和主成分分析提取声音信号的频域特征，使用深度可分离卷积层提取红外图像的空间特征。然后，通过堆叠线性激活层的融合网络将两种数据的编码结果融合，得到融合结果。这种融合可以提供更丰富的信息，利用不同模态数据之间的关联信息，有助于提高故障诊断的准确性和可靠性。

37、(2)本发明在模型训练过程中，通过对比预测编码模块将融合结果映射为单模态表示的预测值。通过将实际与融合结果对应的单模态表示视为正样本，同一批次中其他表示视为负样本，使用评分函数最大化正样本对的评分和负样本对的评分之间的比值，从而实现融合结果与单模态表示之间互信息的最大化。这样可以使融合结果与单模态表示之间的相关性更强，提高故障诊断的准确性。

38、(3)本发明可以提供更准确和可靠的故障诊断结果，获得提高机电设备的可靠性、安全性和运行效率的效果。