送水泵组健康检测的融合声纹处理方法、装置及存储介质与流程

本发明属于送水泵健康检测，尤其涉及一种送水泵组健康检测的融合声纹处理方法、装置及存储介质。

背景技术：

1、送水泵组作为自来水厂中的重要设备，其健康状态关系到广大群众的用水安全，因此需要对送水泵组进行长期的实时监测。声学传感得益于其无接触的优势，多用于布置在送水泵组周围，用以实时获取送水泵组运行的声音，声学传感除了利用智能算法对获取到的多通道声音数据进行处理得到检测结果外，还可以对其进行可视化供用户实时观察送水泵组的声纹状态。

2、但是现有对水泵组周围的多通道声音数据的可视化处理方法中，一般是直接对多通道的声音数据进行可视化，即声纹图的数量与数据的通道数量相同。在送水泵组健康检测的多麦克风阵列使用场景下，获取的多通道声音数据则是以多个窗口按上述可视化方法同步显示，这种直接对应生成声纹图含有大量冗余重复的信息，用户无法直观地观察到送水泵组的声纹状态。

技术实现思路

1、本发明实施例提供一种送水泵组健康检测的融合声纹处理方法，旨在解决在送水泵组健康检测的多麦克风阵列使用场景下，直接对应生成声纹图含有大量冗余重复的信息，用户无法直观地观察到送水泵组的声纹状态的问题。

2、本发明实施例是这样实现的：

3、第一方面，本发明实施例提供了一种送水泵组健康检测的融合声纹处理方法，包括：

4、获取送水泵组中的多通道声音数据；

5、计算所述多通道声音数据的时频特征，得到时频特征图集；

6、根据所述时频特征图集计算时频特征掩码集；

7、通过所述时频特征掩码集对所述时频特征图集进行处理，得到可视化的融合时频图。

8、更进一步地，所述的送水泵组健康检测的融合声纹处理方法，还包括：

9、对所述多通道声音数据进行标准化处理，得到标准化后的多通道声音数据。

10、更进一步地，所述计算所述多通道声音数据的时频特征，得到时频特征图集的步骤，具体为：

11、获取用户设定的所述多通道声音数据的采样率；

12、根据所述采样率确定所述多通道声音数据分帧长度和帧重叠长度；

13、根据所述分帧长度和所述帧重叠长度对所述多通道声音数据分帧并叠加窗函数，得到多通道声音数据序列；

14、对所述多通道声音数据序列进行时频域变换得到时频特征图集。

15、更进一步地，所述根据所述时频特征图集计算时频特征掩码集的步骤，具体为：

16、根据所述的时频特征图集计算基准时频特征图；

17、根据所述时频特征图集中的每一个时频特征图与所述基准时频特征图的比较结果，确定最大值时频特征图集；

18、根据所述基准时频特征图和所述最大值时频特征图集，计算得到基准掩码；

19、根据所述时频特征图集、所述最大时频特征图集和所述基准掩码，计算得到时频特征掩码集。

20、更进一步地，所述根据所述的时频特征图集计算基准时频特征图的步骤，具体为：

21、根据所述时频特征图集计算得到平均时频特征图；

22、沿时域维度和频域维度分别对平均时频特征图进行中值滤波处理，得到两个滤波后的时频特征图，取两个滤波处理后的时频特征图对应位置元素的最大值，得到基准时频特征图；

23、其中，时域中值滤波核kt和频域中值滤波核kf大小由以下公式进行计算：

24、

25、

26、式中，sr为所述多通道声音数据采样率，frame为所述声音数据分帧帧长度，h为所述声音分帧的帧重叠长度，α∈(0,1]、β∈(0,1]均为调节系数，[·]为取整。

27、更进一步地，所述时频特征掩码集的计算公式如下：

28、

29、式中，f为时频特征图集，fmax为最大值时频特征图集，fbase为基准时频特征图，mbase为基准掩码，m为时频特征掩码集。

30、更进一步地，所述通过所述时频特征掩码集对所述时频特征图集进行处理，得到可视化的融合时频图的步骤，具体为：

31、获取所述时频特征掩码集与所述时频特征图集，并将所述时频特征图与其对应的时频特征掩码进行加权；

32、对所有加权后的所述时频特征图按通道数求和平均，得到可视化的融合时频特征图。

33、第二方面，本发明实施例还提供了一种送水泵组健康检测的融合声纹处理装置，包括：

34、声音数据获取单元，用于获取送水泵组中的多通道声音数据；

35、图集计算单元，用于计算所述多通道声音数据的时频特征，得到时频特征图集；

36、掩码计算单元，用于根据所述时频特征图集计算时频特征掩码集；

37、融合处理单元，用于通过所述时频特征掩码集对所述时频特征图集进行处理，得到可视化的融合时频图。

38、更进一步地，所述送水泵组健康检测的融合声纹处理装置，还包括：

39、声音数据处理单元，用于对所述多通道声音数据进行标准化处理，得到标准化后的多通道声音数据。

40、第三方面，本发明实施例还一种计算机可读存储介质，所述计算机可读存储介质上存储有程序指令，所述程序指令被处理器执行时实现如前述的送水泵组健康检测的融合声纹处理方法的步骤。

41、本发明所达到的有益效果：

42、本发明的送水泵组健康检测的融合声纹处理方法通过获取送水泵组中的多通道声音数据；计算所述多通道声音数据的时频特征，得到时频特征图集；根据所述时频特征图集计算时频特征掩码集；通过所述时频特征掩码集对所述时频特征图集进行处理，得到可视化的融合时频图。本发明由于将采集到的送水泵组的对通道声音数据的时频特征进行融合去冗余，弱化各通道间共存的声纹特征，强化不同通道间声纹特征差异，同时也降低了声纹特征图可视化所需计算资源，得到一副可视化的声纹特征图，使得用户能够更加直观地实时观察多通道声音数据声纹特征。

技术特征：

1.一种送水泵组健康检测的融合声纹处理方法，其特征在于，包括：

2.如权利要求1所述的送水泵组健康检测的融合声纹处理方法，其特征在于，还包括：

3.如权利要求2所述的送水泵组健康检测的融合声纹处理方法，其特征在于，所述计算所述多通道声音数据的时频特征，得到时频特征图集的步骤，具体为：

4.如权利要求3所述的送水泵组健康检测的融合声纹处理方法，其特征在于，所述根据所述时频特征图集计算时频特征掩码集的步骤，具体为：

5.如权利要求4所述的送水泵组健康检测的融合声纹处理方法，其特征在于，所述根据所述的时频特征图集计算基准时频特征图的步骤，具体为：

6.如权利要求4所述的送水泵组健康检测的融合声纹处理方法，其特征在于，所述时频特征掩码集的计算公式如下：

7.如权利要求2所述的送水泵组健康检测的融合声纹处理方法，其特征在于，所述通过所述时频特征掩码集对所述时频特征图集进行处理，得到可视化的融合时频图的步骤，具体为：

8.一种送水泵组健康检测的融合声纹处理装置，其特征在于，包括：

9.如权利要求8所述的送水泵组健康检测的融合声纹处理装置，其特征在于，还包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序指令，所述程序指令被处理器执行时实现如权利要求1至7任一项所述的送水泵组健康检测的融合声纹处理方法的步骤。

技术总结本发明适用于送水泵健康检测技术领域，提供了一种送水泵组健康检测的融合声纹处理方法、装置及存储介质，所述方法包括获取送水泵组中的多通道声音数据；计算所述多通道声音数据的时频特征，得到时频特征图集；根据所述时频特征图集计算时频特征掩码集；通过所述时频特征掩码集对所述时频特征图集进行处理，得到可视化的融合时频图。本发明将采集到的送水泵组的多通道声音数据的时频特征进行融合去冗余，弱化各通道间共存的声纹特征，强化不同通道间声纹特征差异，降低了声纹特征图可视化所需计算资源，得到一副可视化的声纹特征图，使得用户能够更加直观地实时观察多通道声音数据声纹特征。技术研发人员：招智铭,万智勇,李俊,廖奕校,周松斌,刘忆森,赵路路受保护的技术使用者：广州市自来水有限公司技术研发日：技术公布日：2024/3/21