基于自监督和弱监督的水轮发电机组异常声音检测方法与流程

本发明涉及音频信号处理，具体涉及一种基于大规模自监督和弱监督音频通用表征学习的水轮发电机组异常声音检测方法。

背景技术：

1、水力发电厂作为电力能源的重要来源，设备安全运转是保证电力稳定输出的重要保证。水轮发电机组是水力发电站中的核心设备，包括水轮机、发电机、增速器以及其他附属设备。水轮发电机组实时在线监测中，音频信号相对容易获取，信号分析技术相对更加成熟。因此，业界普遍在水轮发电机组中部署声音检测系统，通过声音监测来记录设备运转情况。声音监测系统一般包含采集单元、存储单元、模型单元、诊断单元以及预警单元五个部分。声音监测系统通过采集水轮发电机组不同部件的声音信号，通过存储、识别等手段，实现异常声音检测以及故障预警，提醒电厂运维人员及时停机检修。在过去的几年内，国内外通过异常声音检测技术发现了水轮机、发电机以及增速器等部件的异常情况。现有的异常声音检测方法主要有基于高斯混合模型的方法、基于支持向量机的方法以及基于神经网络的方法。

2、基于高斯混合模型的异常声音检测：高斯混合模型理论上可以拟合任意分布信号。对于异常声音检测任务，在声学特征分析和提取基础上采用高斯混合模型独立拟合每一种声音，以实现音频信号的检测与分类。

3、基于支持向量机的异常声音检测：该类方法普遍将异常声音检测问题转化为二分类问题。在异常声音检测任务中，采用支持向量机对正常音频信号分布进行建模，将输入数据空间映射到更高维的特征向量空间，以在正常音频信号和异常音频信号之间进行更清晰的区分。

4、基于神经网络的异常声音检测：神经网络是一种模仿生物神经网络结构和功能的计算模型，用于对输入数据的预测和近似估计。在音频异常检测任务中，神经网络可以实现复杂的逻辑操作和高度的非线性拟合。同时，深度学习网络具有强大的特征学习能力，能从大量样本中学习到数据本质，与传统机器学习方法相比具有更大的优越性。

5、综上，业界对异常声音检测进行较为广泛的研究，相关技术在电厂设备检测中也得到充分的应用。由于电厂环境噪声大，设备异常声音种类多，实现发电机组异常声音精确检测依旧面临极大挑战。

技术实现思路

1、本发明主要是为了解决水轮发电机组异常声音精确检测依旧面临极大挑战的问题，提供了一种基于自监督和弱监督的水轮发电机组异常声音检测方法，通过预处理操作，有效去除音频噪声，以便进行后续特征提取与分析，提高异常声音检测精度；基于提取的音频信号特征，利用大规模自监督和弱监督音频通用表征学习技术训练音频信号特征提取网络模型，利用音频信号特征提取网络模型对测试集和标准集进行特征提取，对提取到的特征进行比对后得到相似程度，判断阈值与相似程度的大小从而实现精确的水轮发电机组异常声音检测，有利于保障设备安全运转，电力稳定输出。

2、为了实现上述目的，本发明采用以下技术方案。

3、基于自监督和弱监督的水轮发电机组异常声音检测方法，包括以下步骤：

4、步骤s1：采集水轮发电机组不同部件的音频信号，获得音频训练集、音频标准集和音频测试集；

5、步骤s2：对采集的音频信号进行预处理，包括预加重、分帧加窗和降噪处理；

6、步骤s3：对预处理后的音频训练集的音频信号进行特征提取；

7、步骤s4：基于提取的音频信号特征，利用大规模自监督和弱监督音频通用表征学习技术训练音频信号特征提取网络模型；

8、步骤s5：利用训练好的音频信号特征提取网络模型提取音频标准集和音频测试集的音频信号特征，并将两者进行比对获得相似程度，将相似程度与阈值比较，判断音频测试集的待测音频信号是否为异常音频信号。

9、本发明提供了一种基于自监督和弱监督的水轮发电机组异常声音检测方法，包含预处理、特征提取以及异常检测三个过程，其中预处理过程为整个异常声音检测过程的开端，核心目的在于提高音频信号高频段的分辨率，减少噪声信号对检测精度的影响；特征提取阶段主要是提取出音频信号本质属性，从特征层面区分正常音频信号和异常音频信号，适用于电厂环境噪声大，设备异常声音种类多的情形，降低检测分类难度；异常检测阶段主要利用大规模自监督和弱监督音频通用表征学习技术训练检测模型(音频信号特征提取网络模型)以提高检测精度，有利于保障设备安全运转，电力稳定输出，且通过模型压缩，使检测模型轻量化，降低应用成本，有利于模型广泛应用。

10、作为优选，步骤s2中，采用一阶fir数字高通滤波器实现预加重，具体表示为：

11、h(z)＝1-α·z-1

12、其中，a为预加重系数，一般取0.95，代表预加重的变化幅度。

13、音频信号低噪声比大而高频信噪比低，为提高音频高频段分辨率，使信号频谱变得更加平缓以便进行后续特征提取与分析，本发明采用常用的一阶fir数字高通滤波器实现预加重。

14、作为优选，步骤s2中，常用的窗函数包括但不限于矩形窗、汉宁窗或汉明窗。

15、音频信号普遍具有非平稳特性，尤其是异常声音信号，其波形以及本质特性会根据时间的变化而产生较大变化。为了对音频信号进行有效分析，需要进行分帧操作，将音频信号沿着时间轴进行切分，每一段长度为10-30ms，这样就能将切分后的每一段信号看成是平稳信号。同时，为了保证切分后音频信号的连续性，需要对音频信号进行加窗处理，常用的窗函数有矩形窗、汉宁窗以及汉明窗等。

16、作为优选，步骤s2中，采用谱减法、小波阈值法或维纳滤波法实现降噪。

17、电厂环境中普遍存在环境噪声、其他设备噪声等，这些外界干扰不可避免地影响异常声音检测模型的精确度。因此，本发明将根据电厂实际环境采用谱减法、小波阈值去噪或维纳滤波等方法从原始语音中尽可能去除噪声。

18、作为优选，步骤s3中，提取的音频信号特征包括但不限于短时平均过零率、短时平均能量、短时平均幅度、梅尔频谱倒谱系数或对数梅尔频谱。

19、在模型训练之前需要提取音频信号特征，现有的音频特征主要有短时平均过零率、短时平均能量、短时平均幅度、梅尔频谱倒谱系数(mfcc)以及对数梅尔频谱等。本发明对音频特征不做规定，可根据实际应用选择恰当的声学音频特征。

20、作为优选，当提取对数梅尔频谱特征时，对数梅尔频谱特征提取过程依次包括快速傅里叶变换、三角带通滤波和对数能量表示。

21、本发明以对数梅尔频谱特征为例简要描述声学特征提取过程。对数梅尔频率是模仿人耳听觉特性的短时特征，是音频处理过程中最有效的参数特征之一。相对于时域特征，频域上的特征能够更好的表现出正常和异常两个类别的音频独有的属性。人耳对频率标度的声音频谱的响应是非线性的，将普通的频率标度转化为梅尔频率标度，能够将人耳对频谱的响应转化为线性关系。因此对数梅尔频谱特征能很好的用于机器异常声音检测任务。在经过预处理后，对数梅尔频谱特征提取还需要经过快速傅里叶变换(fft)、三角带通滤波、对数能量表示。

22、作为优选，步骤s4中，所述大规模自监督和弱监督音频通用表征学习技术包括：基于音频检测主干网络，引入音频-重点模型(比如porn和lid模型)，利用fine-tuning技术提高检测准召率；引入音频-常规模型，利用linear probing等技术支持快速扩展类别，降低异常声音类别新增的成本；引入多模态-特征融合模型(比如policy-aware)，将cv以及nlp等特征融合，提高异常声音检测精度。本发明提出大规模自监督和弱监督的音频通用表征学习技术，并将其应用于水轮发电机组异常声音检测任务以提高检测精度。

23、作为优选，步骤s4中，将data2vec/best-rq等大模型通过压缩(比如蒸馏/量化/裁减等方法)作为音频检测主干网络，通过自监督/弱监督进行模型预训练，所述预训练的过程分为大规模自监督预训练、中规模弱监督预训练以及小规模数据集微调三个部分。

24、作为优选，步骤s5中，将提取的音频标准集的音频信号特征与音频测试集的音频信号特征进行比对获得相似程度，然后将相似程度与阈值进行大小比较，若相似程度小于阈值，则判断音频测试集的待测音频信号为异常音频信号；若相似程度大于等于阈值，则判断音频测试集的待测音频信号为正常音频信号。

25、本发明提出的基于大规模自监督和弱监督的音频通用表征学习技术并不需要进行异常检测操作，而是直接采用自监督和弱监督学习获取到的特征提取器进行特征提取。这是因为该模块本身代理任务的目标是训练一个鲁棒且泛化的特征提取器。在测试阶段，通过自监督和弱监督学习训练的网络模型对测试集和标准集进行特征提取，对提取到的特征进行比对后得到相似程度，判断阈值与相似程度的大小从而可以进行异常声音的检测。

26、因此，本发明的优点是：

27、(1)通过预处理操作，有效去除音频噪声，以便进行后续特征提取与分析，提高异常声音检测精度；

28、(2)通过特征提取操作，提取出音频信号本质属性，从特征层面区分正常音频信号和异常音频信号，适用于电厂环境噪声大，设备异常声音种类多的情形，降低检测分类难度；

29、(3)利用大规模自监督和弱监督音频通用表征学习技术训练音频信号特征提取网络模型，利用音频信号特征提取网络模型对测试集和标准集进行特征提取，提高异常声音检测精度，即提高水轮发电机组异常检测精度，有利于保障设备安全运转，电力稳定输出；

30、(4)通过模型压缩，使音频信号特征提取网络模型轻量化，降低应用成本，有利于广泛应用。