梅尔频谱时域融合的工业机器设备声音辨认方法、介质及设备

本发明涉及工业机器设备声音辨认，更具体地说，涉及一种梅尔频谱时域融合的工业机器设备声音辨认方法、介质及设备。

背景技术：

1、工业机器设备的正常运转对于工业生产至关重要，对设备的声音进行辨认可以及时发现潜在缺陷，预防进一步发展造成严重的生产事故和经济损失。

2、已有的工业机器设备状态识别方法，主要利用神经网络对设备振动信号或声音信号进行分类，缺少对设备声音的梅尔频谱和时域特征的融合。例如，中国发明专利申请《基于时频域卷积网络和深度森林的风电轴承故障诊断方法》(公开号：cn114964780a)，该方法获取振动、工况、转速、负载的故障数据，根据时频域卷积网络进行特征提取，通过两层深度森林模型完成故障诊断。中国发明专利申请《一种基于时频域多维振动特征融合的滚动轴承故障诊断方法》(公开号：cn104655423a)，该方法首先对振动信号进行小波消噪处理，利用特征提取获取时域特征参数，利用小波包分解和能量矩计算得到能量矩阵，合成多维特征矩阵，根据指标距判断轴承状态。中国发明专利申请《一种基于声音监测的变压器潜伏性缺陷诊断方法》(公开号：cn113253156a)，该方法首先根据基于噪声衰减规律确定声音传感器的安装位置，基于特征频率和缺陷评价指标判断变压器是否出现潜伏性缺陷。中国发明专利申请《一种利用声音特征编码诊断变压器故障的方法及系统》(公开号：cn114527410a)，该方法根据声音特征编码规则和组合判断变压器故障结果。中国发明专利申请《基于时频域特征融合的高压套管数字化评估方法与系统》(公开号：cn115015684a)，该方法利用不同采样区间的时域或频域评估单元分析结果中和判断高压套管的状态。上述发明方法均无涉及到对工业机器设备声音的梅尔频谱与时域特征进行融合。因为单独的梅尔频谱缺乏足够的与故障有关的信息，而单独的时域特征缺乏先验知识，所以上述方法可能会造成故障诊断准确率下降。

技术实现思路

1、为克服现有技术中的缺点与不足，本发明的目的在于提供一种梅尔频谱时域融合的工业机器设备声音辨认方法、介质及设备；该方法融合梅尔频谱与时域特征，充分利用了工业机器设备声音的全频段信息，可提高工业机器设备声音不同状态下的辨认结果准确率，有利于对工业机器设备的运行状态进行有效诊断。

2、为了达到上述目的，本发明通过下述技术方案予以实现：一种梅尔频谱时域融合的工业机器设备声音辨认方法，包括如下步骤：

3、步骤s1、采集工业机器设备声音的音频信号；

4、步骤s2、将音频信号输入频域时域初级特征提取模块；频域时域初级特征提取模块对音频信号进行短时傅里叶变换与梅尔滤波器组滤波得到梅尔频谱；对音频信号进行一维卷积与多个卷积-归一化-激活模块得到时域特征；然后将梅尔频谱与时域特征的特征图在通道层面拼接起来，得到初级特征；

5、步骤s3、利用深度神经网络对初级特征进行特征变换，融合梅尔频谱与时域特征，得到高级特征嵌入码；

6、步骤s4、将高级特征嵌入码输入分类器；根据分类器的输出，得到对工业机器设备声音的辨认结果。

7、优选地，所述步骤s2中，短时傅里叶变换包括分帧、加窗和离散傅里叶变换；

8、所述分帧是指：将音频信号按设定时间长度切割成固定长度的帧；相邻帧之间有重叠区域，以保证音频信号在时间上的连续性；

9、所述加窗是指：对音频信号的每个帧进行窗函数处理；

10、所述短时傅里叶变换s(m,k)为：

11、

12、其中，n为音频信号的帧长；h为帧移；m代表当前窗口的序号；k代表从0到n-1的正整数；n代表从1到n-1的正整数；x代表音频信号序列；i代表虚数单位；w(n)代表窗函数。

13、优选地，所述加窗中，窗函数采用汉明窗函数w(n)：

14、

15、其中，n表示当前音频信号的帧编号；n表示音频信号的帧长，α为一个常数，汉明窗的α＝0.46。

16、优选地，所述步骤s2中，梅尔滤波器组滤波是指：将音频信号的频域信号通过一组由梅尔刻度设计的三角形滤波器组进行滤波的频谱分析方法；

17、梅尔滤波器的频率响应公式为：

18、

19、其中，hm(k)代表梅尔滤波器的频率响应；k代表频率值；m代表第m个梅尔滤波器；f(m)代表第m个梅尔滤波器的中心频率；

20、优选地，所述频域时域初级特征提取模块、深度神经网络和分类器是指经过训练的频域时域初级特征提取模块、深度神经网络和分类器；

21、训练方法为：采集工业机器设备声音的音频信号样本；对音频信号样本进行预处理得到样本集；样本集包括音频信号样本和对应的标签；

22、将样本集中的音频信号样本进行步骤s2和步骤s3处理，得到高级特征嵌入码；

23、先将高级特征嵌入码输入分类器进行前向传播，得到输出后利用标签与强判别能力的损失函数loss得到损失；再将损失反向传播得到频域时域初级特征提取模块、深度神经网络和分类器的梯度，采用梯度下降更新算法更新频域时域初级特征提取模块、深度神经网络和分类器权重参数，从而实现训练。

24、优选地，所述预处理包括标签标注、下采样和切割；

25、所述标签标注是指：根据工业机器设备的运行工况记录表，将音频信号样本的标签标注为运行工况记录表中对应时间段的工况名称；

26、所述下采样是指：将音频信号样本下采样至设定频率；

27、所述切割是指：将下采样后的各个音频信号样本分别切割为若干个短时长的音频信号。

28、优选地，所述损失函数loss为aam-softmax：

29、

30、其中，d表示模型输出概率向量的维度；yi表示第i个音频信号样本的真实标签；θj与指将归一化之后的高级特征嵌入码经过权重矩阵变换、取arccos之后得到的角度向量中的各角度；s是缩放的大小；r是取反余弦变换arccos得到的角度空间中的角度间隔。

31、优选地，采用梯度下降更新算法更新频域时域初级特征提取模块、深度神经网络和分类器权重参数，权重参数更新公式为：

32、

33、bt＝μ*bt-1+(1-τ)*gt

34、gt＝bt

35、θt＝θt-1-γ*gt

36、其中，θt-1是第t-1步的权重参数，gt是第t步目标函数对θt-1的梯度；θt是第t步的权重参数；bt是第t次迭代的动量；μ是动量系数；τ是动量阻尼；是梯度算子；γ是更新步长。

37、一种可读存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述梅尔频谱时域融合的工业机器设备声音辨认方法。

38、一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述梅尔频谱时域融合的工业机器设备声音辨认方法

39、与现有技术相比，本发明具有如下优点与有益效果：

40、本发明提出了一种梅尔频谱时域融合的工业机器设备声音辨认方法，该方法融合梅尔频谱与时域特征，其中梅尔频谱是对工业机器设备声音进行短时傅里叶变换与梅尔滤波器组滤波得到的，充分模拟了人类听觉对音高和响度的感知，时域特征是对工业机器设备声音进行一维卷积与多个卷积-归一化-激活模块得到的，充分利用了工业机器设备声音的全频段信息，将梅尔频谱与时域特征融合起来，有利于准确辨认不同状态下的工业机器设备声音。

41、根据本发明方法得到的辨认结果，可对工业机器设备的运行状态进行诊断，及时发现潜在缺陷，预防进一步发展造成严重的生产事故和经济损失。