一种双互补的电力设备声纹增强网络神经网络、部署方法以及装置

【】本发明涉及电力设备，具体涉及一种双互补的电力设备声纹增强网络神经网络、部署方法以及装置。

背景技术

0、背景技术：

1、长久以来声音是人类传递信息的重要途径，较为常见的声音形式为人说话声、破碎声、枪声、爆炸声等。随着音频信号获取技术、计算机技术、信号处理技术和模式识别等相关技术的发展，音频信号监控逐渐成为热点问题。相较于视频信号，音频数据具有无死角，对周用环境要求较低目其信号数据量小，传输速度快等优势。在工业生产中，检测到异常声音可能表明一台机器出现了异常，系统可以及时发出报警信息，提醒安全监控人员进行相应的紧急处理。

2、但是，在现代工业生产中，gis(配电网气体绝缘组合电器)运行声往往会受到工业环境噪声的影响，这些噪声具有功率大、多变且难以估计的特点，大大减少了声音信号的信息量，给异常声音检测带来了很大的困难。对于这些复杂的环境噪声，可以采用音频去噪的方法对其进行去噪处理，增强信息的特征性。常用的音频去噪的方法有最小均方(leastmeansquare，lms)算法、归一化最小均方(normalizedleastmeansquare，nlms)算法、递推最小二乘(recursiveleastsquare，rls)算法以及基于梯度加权平均的变步长归一化最小平均p范数(variablestep-size-normalizedleastmeanp-norm，vss-nlip)算法等。

3、npu英语全称为neural process unit，译为神经网络处理器。npu是在电路层来模拟人类的神经元和突触，它的架构和指令集专门针对神经网络计算进行了优化，因此它在处理神经网络计算方面表现出色，具有较高的推理性能。国产自主可控开发板搭载有单个核心的rk3568-npu，包含cna模块(convolutionneuralnetworkaccelerator)、dpu模块(dadaprocessingunit)、ppu模块(poolingprocessingunit)，分别代表卷积神经网络加速器、数据处理单元和polling操作单元。

4、对于电力设备gis声纹去噪声处理，有一个简单的假设：假设声纹中的噪声只有加性噪声，只要用带噪声纹谱减去噪声谱，就可以得到纯净声纹，且这么做的前提是噪声信号的频谱在短时间内是平稳不变的。通过去噪系统处理的音频将会是更接近机器本身的声音，有利于进行异常声音检测而不会发生误判。

5、istft，inverse short-time fourier transform，逆短时傅里叶变换。

6、lsa，locally-grouped self-attention，局部自注意力。

7、gsa，global self-attention，全局自注意力。

8、所谓声纹(voiceprint)，是指通过专用的电声转换仪器(声谱仪、语图仪等)将声波特征绘制成的波谱图形，它是各种声学特征图谱的集合。

9、本发明针对现有技术没有通过机器学习将神经网络合理的部署和应用从而实现gis去噪处理的技术问题，对电力设备声纹增强网络神经网络、部署方法以及装置进行了技术改进。

技术实现思路

0、技术实现要素：

1、本发明的目的是，提供一种基于简单网络结构、快速运行实现电力设备gis声纹去噪处理的神经网络。

2、为实现上述目的，本发明采取的技术方案是一种双互补的电力设备声纹增强神经网络，包括编码器、频率维度分支网络模块、时间维度分支网络模块、交互模块、合并模块和解码器；所述编码器用于接收通过stft变换得到的电力设备gis声纹iq复谱图像，并对的电力设备gis声纹iq复谱图像进行编码压缩、缩减输入图像尺寸，输出至频率维度分支网络模块、时间维度分支网络模块；所述频率维度分支网络模块用于在频率维度捕获电力设备gis声纹iq复谱图像的去噪声待聚合信息；所述时间维度分支网络模块用于在时间维度捕获电力设备gis声纹iq复谱图像的去噪声待聚合信息；所述交互模块用于在频率维度分支网络模块和时间维度分支网络模块之间交换补充去噪声聚合信息；所述合并模块用于合并频率维度分支网络模块和时间维度分支网络模块去噪声聚合信息输出去噪后的时频关系图；所述解码器用于将图像解码输出、恢复至原电力设备gis声纹iq复谱图像大小。

3、优选地，所述编码器由三个卷积模块组成，每个卷积模块包含用于对特征进行下采样的二维卷积层、非线性激活层和归一化层，uiencoder＝prelu(bn(conv(y)))，其中，uiencoder表示每个卷积模块输出，i∈(1，2，3)，prelu示非线性激活层应用参数修正线性激活函数，bn表示归一化层是批量归一化，conv表示二维卷积层的卷积运算，y表示卷积模块输入。

4、优选地，所述解码器包括三个子像素卷积块，所述子像素卷积块由二维卷积模块、prelu激活模块、bn归一化模块、像素置换模块组成，每个子像素卷积块输入首先与编码器的特征连接，然后输入二维卷积模块以放大特征图。

5、优选地，所述频率维度分支网络模块包括三个全局-局部模块，用于在频率维度聚合全局自注意和局部自注意的区分信息，提取出包含全局和局部信息的图像重点区域特征，以同时对全局和局部提取特征的空间依赖性关系进行建模，并嵌入在所述频率维度分支通道中；所述时间维度分支网络模块包括三个全局-局部模块，用于在时间维度聚合全局自注意和局部自注意的区分信息，提取出包含全局和局部信息的图像重点区域特征，以同时对全局和局部捕获特征的时间依赖性关系进行建模，并嵌入在所述时间维度分支通道中；所述全局-局部模块由全局自注意力模块和局部自注意力模块组成。

6、优选地，所述交互模块包括单维度的二维卷积层、归一化层、激活层；对于时间维度分支，频率维度分支全局-局部模块提取的特征首先被交互模块输入二维卷积层以实现更好的信息聚合，然后与时间维度分支全局-局部模块提取的特征相加，输出给下一个时间维度分支全局-局部模块；对于时间维度分支，频率维度分支全局-局部模块提取的特征首先被交互模块输入二维卷积层以实现更好的信息聚合，然后与时间维度分支全局-局部模块提取的特征相加，输出给下一个时间维度分支全局-局部模块。

7、优选地，所述的合并模块包括二维卷积层、归一化层、激活层。

8、本发明的又一目的是，提供一种基于简单网络结构、快速运行实现电力设备gis声纹去噪处理神经网络的训练和部署方法。

9、为实现上述又一目的，本发明采取的技术方案是一种双互补的电力设备声纹增强神经网络部署方法，包括以下步骤：

10、s1、构建上述的一种双互补的电力设备声纹增强神经网络；

11、s2、自制数据集，将数据集输入所述电力设备声纹增强神经网络进行离线训练，获得去噪声的所述电力设备声纹增强神经网络模型；

12、s3、部署所述电力设备声纹增强神经网络模型在开发板平台上，将需要去噪声的单张电力设备gis声纹iq复谱图输入所述电力设备声纹增强神经网络模型中，得到去噪结果。

13、优选地，步骤s2：

14、自制数据集：使用软件对采集到电力设备电力设备gis声纹信号进行加噪声后导出，按比例分为训练集和验证集，所述噪声为电力设备运行环境噪声；

15、离线训练：使用最大化尺度不变源噪声比函数为损失函数训练所述电力设备声纹增强神经网络模型，其中，和x分别表示估计信号和干净信号，||2表示l2范数，是两个向量的点积；使用信号失真比和分段信号信噪比作为评估所述电力设备声纹增强神经网络模型性能的客观指标，其中，和x(n)分别表示估计信号和干净信号，和xm(n)分别对应估计信号和干净信号的段，l是信号的长度，n表示样本块的长度，m是构成信号的样本块的数量。

16、优选地，步骤s3：首先将所述电力设备声纹增强神经网络模型文件从pt格式转换为onnx格式，再转换为rknn格式；为开发板配置环境，使用rknn格式的所述电力设备声纹增强神经网络模型文件对验证集进行推理，验证推理结果。

17、本发明的再一目的是，提供一种基于简单网络结构、快速运行实现电力设备gis去噪处理装置。

18、为实现上述再一目的，本发明采取的技术方案是一种双互补的电力设备声纹增强装置，包括开发板平台，所述开发板包括i/o口、内存、cpu和npu处理器、存储器；用于执行上述的一种双互补的电力设备声纹增强神经网络部署方法。

19、本发明一种双互补的电力设备声纹增强网络神经网络、部署方法以及装置有益效果如下：本发明提出了一个集成装置来对gis升温信号进行噪声抑制，为了提高性能，本发明使用编码解码器网络作为整体架构，开发了一个具有两个分支结构的深度神经网络，两个分支从时间和频率维度捕获频谱信息并聚合，同时对全局和局部依赖关系进行建模，在不同分支之间交换互补信息，最后生成去噪后的时频关系图并通过istft转换回声纹波形，dbsa-net的不同模块在提高去噪性能方面发挥了各自的作用，并且在经验上是有效的，本发明网络实现了两个分支之间的互补信息交互，该交互模块与合并模块一起融合了从不同维度提取的特征，使用更简单的网络结构实现快速的运行速度，且得到更好的效果；该方法适配采集数据的快速预处理工作，以国产自主可控开发板部署本网络并形成实时处理的装置平台，可以为操作人员的后续工作提供合理的数据支撑。