基于深度学习技术的断路器声纹谱图自适应降噪重构方法与流程

本发明属于电力设备在线监测，特别涉及一种基于深度学习技术的断路器声纹谱图自适应降噪重构方法。

背景技术：

1、高压断路器常见故障一般是由出现弹簧疲劳、卡涩等原因导致。如何能在无人状态下，自动识别故障变得十分必要。声音信号具有采集设备部署简单、非侵入式、信号受传感器安装位置影响小等无可替代的优点。但声音信号具有信噪比低、易受环境噪声干扰等天然缺陷。目前对于噪声背景下基于声音信号的断路器故障诊断方法研究较少，故本方法针对噪声背景下的断路器声纹故障诊断算法及其鲁棒性提升技术开展研究具有重大意义。

2、当断路器工作在未知且嘈杂的环境下时，未知的噪声将会以如下两种方式影响到断路器声纹故障诊断算法：一是当噪声信号与断路器工作声音信号重叠时污染断路器工作声音信号导致识别算法准确率严重下滑。这是因为训练时无法囊括所有噪声环境下的断路器工作声音，虽然深度学习模型的泛化能力较强，在轻度噪声干扰时还能保证较高识别准确率。但是，随着噪声声源数量增加、噪声信噪比降低，故障诊断分类算法的准确率逐步下滑，直至失效；二是当高能量偶发性噪声信号单独出现时，断路器显著工作声截取算法中的短时能量高阈值被高能量偶发噪声误触发而导致误截取，把这段噪音误认为是断路器工作声音而输入后续的识别算法。而因为现有故障诊断闭集分类算法的局限性，对于这种未知的非集合内声音数据(uucs)没有甄别能力，在输入模型后一定会得到判定为正常或某种潜伏性故障的输出，产生误报。

技术实现思路

1、本发明提供涉及一种基于深度学习技术的断路器声纹谱图自适应降噪重构方法，在进行声纹谱图特征去噪重构的同时使用重构过程中的产生的重构误差作为异常检测判据，检测出误截取出的非断路器工作声音的噪声信号并进行剔除，使得输入后续故障诊断算法的只有无噪声的断路器工作声纹谱图特征。

2、为达到上述目的，本发明的技术方法如下：

3、假设已知数据x(纯净断路器工作声音信号时域数据)，首先对无噪声干扰的声音时域信号x在训练过程中进行加噪后得到含噪的时域信号xnoisy，对x与xnoisy以相同的声纹特征提取方式提取出纯净声纹谱图信号x与含噪声纹谱图xnoisy。然后将xnoisy输入自编码器的编码器(encoder)结构得到隐层特征，将隐层特征输入解码器(decoder)得到降噪重构后的声纹数据其中x与维度一致。最后使用平均绝对误差(mae)作为损失函数计算与x的声纹谱图之间逐像素点的误差并在训练过程中最小化这个误差，以此使模型自动学习如何从复杂噪声干扰下重构出与纯净声纹数据无差别的新声纹数据。上述自编码器结构的所有参数通过梯度下降的方式从最初的随机参数进行更新。整体流程如公式(1)所示。

4、

5、下面将分别介绍本发明采用的声纹特征提取方法和采用的编码器、解码器具体结构：

6、声纹特征提取方法

7、本发明采用的声纹特征提取方法是基于短时分析技术：对于一段音频时域信号，首先进行分帧、再对每帧信号进行加窗、离散傅里叶变换后得到复数域的频域特征，然后取幅值或是幅值平方得到声纹时频谱图特征。

8、分帧

9、该方法第一步为对音频信号进行分帧(framing)操作，如视频信号由一帧一帧的图像信号组成使人产生视觉上的连续性，密集的语音采样信号一样可以在时间轴上分为较为系数的信号帧(frame)。分帧过程中最重要的两个参数为帧长与帧移，帧长即是一帧的长度，单位为采样点个数，而帧移为帧与帧之间的间隔，单位也为采样点个数(因为一维声音信号为离散信号，其单位也是采样点个数，t秒声音信号的采样点个数为采样率t*sr)。分帧等价于对于时域语音信号进行滑动窗口采样，帧长是窗口长度，帧移则是每次滑动的距离。若帧移等于帧长，则帧与帧之间无重叠；若帧移小于帧长，则帧与帧之间有着部分的重叠；而当帧移大于帧长时，帧之间会有空隙，无法完全覆盖信号，导致信号丢失，该情况应避免。

10、加窗

11、在对一维声音信号进行分帧处理后，后续将是离散傅里叶变换得到短时片段的频域特征表示，但是，分帧后的信号默认为除了该帧信号之外帧前与帧后的信号都为0，这意味着帧首部与帧末尾的信号与前后信号产生了突变，这样的强不连续性会导致傅里叶变换时发生吉布斯现象，吉布斯现象意味着在帧首与帧尾会产生局部峰值，这会使得原始的频谱产生拖尾现象，这就是频谱泄露现象。显然，频谱泄露现象因为人为产生了很多不可控噪声对于断路器信号的声纹特征提取是不利的，为了解决这个问题，常用的做法是进行加窗操作。即选择合适的窗函数，对于分帧后得到的每帧信号对应系数相乘，这个系数即是窗函数。

12、常用窗函数为矩形窗、汉宁窗、汉明窗。其中矩形窗的谱平滑性较好，但波形细节丢失，并且矩形窗会产生泄漏现象，而汉明窗可以有效地克服泄漏现象，应用范围也最为广泛。汉明窗函数的公式(2)所示：

13、

14、快速傅里叶变换

15、在分帧与加窗操作过后，我们将对断路器声音信号的每一帧离散信号进行离散傅里叶变换，其公式如(3)所示：

16、

17、工程上，快速傅里叶变换为一种能够以更短时间复杂度计算出离散信号的离散傅里叶变换的算法，将o(n2)的时间复杂度降低为o(nlogn)，其基本原理为将变换矩阵分解为稀疏因子的乘积。

18、此时，将每一帧信号得到的频谱信号按照原先的时间顺序进行排列，即得到了最基础的声纹时频谱图信号。帧长与帧移将决定维度，即声纹谱图信号的长与宽，这将决定谱图特征的分辨率，运算如公式(4)所示：

19、

20、其中，h为分帧后的帧数，l为频域维度。读取音频信号的采样率选择22.05k，时长为1s(分合闸信号的时长为0.5-0.7s左右，不够1s时补0，储能信号为＞5s的长时信号，从中随机取样1s)，帧长设置为254，帧移设置为173，得到维度为(128，128)的断路器合闸、储能、分闸三大过程的stft声纹时频谱图特征。

21、编码器与解码器结构设计

22、自编码器(autoencoder)是一种广泛应用的自监督学习模型，应用于特征降维、图像数据去噪、特征解耦等多个领域。其原理为让模型自主学习如何提取数据最重要的特征并使用这些特征重构原始数据。而声纹谱图所需要的前置降噪算法不需要考虑信号的相位谱，因为后续输入只是信号的幅度频谱图。故解决如何从声纹频谱图中无视噪声干扰而只提取断路器工作信号的特征并将其还原重构为无噪声的纯净频谱图即可解决这个问题。

23、采用自编码器作为降噪算法的基础结构，是因为模型在对断路器工作含噪声纹谱图数据特征不断降维提取并重构的过程中可以学习到断路器工作声音特征分布的特点并自动建立含噪声纹谱图与纯净声纹谱图的映射关系。

24、传统的自编码器结构由三层全连接层构成，即编码器为维度缩放的单层全连接，获得隐层特征后以维度扩张的单层全连接层恢复原维度，此时输入为一维向量数据，通过全连接进行编码与解码。但是，本文针对的数据为声纹时频谱图数据，如果将二维的声纹谱图数据拍平作为一维数据输入，会破坏其时空间信息，且浅层的全连接神经网络表征能力有限，对于复杂的声纹数据其特征提取能力显然不够。

25、1.编码器结构设计

26、编码器结构：结合残差连接、卷积层、bn批归一化层，以及cbam注意力机制构建编码器结构，此编码器结构取消了模型最初的最大池化降采样，这是因为在降噪重构学习的过程中如果遇到信噪比较低的声纹数据(噪声信号能量大于断路器工作声音信号)，较浅层的最大池化容易使得模型更多地保留噪声信号，这将影响模型对于断路器工作声纹谱图高阶特征的学习；使用三次降采样，得到16*16尺寸大小的隐藏层高阶声纹特征。这是因为相较于分类任务，编码重构任务更需要保留更具空间整体性的中间层特征，这将有助于解码器的还原重构。

27、2.解码器结构设计

28、解码器核心部分将由转置卷积结构、批归一化层与非线性激活函数组成。其中转置卷积结构顾名思义即为卷积的逆运算，卷积操作是通过对卷积核范围内的数进行加权求和以获得采样值，其采样过程大多为下采样，而转置卷积则是上采样的过程，其参数同卷积一样，包含卷积核大小k，通道数c，补零数p与卷积步长s，卷积核大小为3的正向卷积为九对一的下采样过程，而转置卷积为一对九的上采样过程，但要注意的是，转置卷积运算并不会还原原始的矩阵值，而仅还原了维度相同的数据，转置卷积的卷积核参数同正向卷积一样都是在训练中不断迭代得到的。在本节使用转置卷积进行隐层特征复原的过程中发现，转置卷积并没有和正向卷积一样的除以步长s后自动取整的能力，如一个6*6维度的数据经过一个卷积核大小为3，步长为2，补零为1的正向卷积得到的是一个维度取整为3*3((6-3+1*2)/2+1＝3.5)的特征映射数据块，而当使用同样参数的转置卷积时得到的还原数据块维度为5*5，无法匹配6*6的维度，因此在设计转置卷积层参数时要考虑这一点，如果参数维度无法匹配则无法进行损失函数对于声纹谱图特征点对点的误差计算。

29、而非线性激活函数选择relu激活函数，这是因为模型的输入输出皆为声纹stft时频谱图，其所有值均是由取模值计算得到的，故重构出的所有值也应该大于0，relu激活函数很好地满足了这一点。因为对于类图像数据的处理依旧可以使用批处理，所以继续选择批归一化作为解码器的归一化层。

30、转置卷积在还原重构原始尺寸的声纹谱图特征时，可能会出现棋盘效应，且这种效应在特征显著的地方将更为突出。这是因为卷积的不均匀重叠现象，即当转置卷积的卷积核大小无法被卷积步长整除时，就会出现这种在有些像素点的值由数个卷积核叠加得出而有些像素点则只由一个卷积得出的现象，这将导致某些还原的像素点的值不可避免的更大。原则上，神经网络可以通过损失函数自动学习权值来避免这种情况，但在实践中，神经网络很难完全避免这种情况。

31、为了避免棋盘效应在断路器声纹特征降噪重构的过程中出现，本发明将采用两种方法来对模型进行优化：

32、1.使用卷积核大小可以整除步长的转置卷积。

33、2.在每一个通道减半维度膨胀的转置卷积之后使用一个通道维度均不变的普通卷积进行新的特征映射。

34、根据以上原则，本文解码器每一次转置卷积伴随着通道削减，空间膨胀，而每一个转置卷积层后都会跟着一个1*1的普通卷积层。

35、与现有技术相比，有益效果是：本发明在降噪重构的同时可以还原断路器声纹谱图的细节，不同信噪比下残差神经网络-卷积块注意模块-自动编码器(res-cbam-autoencoder)算法对普通故障诊断算法均带来了准确率的提升，且信噪比越低，可以提高降噪效果。