基于自监督学习的空调室内机异常声检测方法及系统

本发明涉及空调室内机的检测，尤其涉及深度学习、机器学习和音频处理等。更具体的，本发明提供了一种基于自监督学习的空调室内机异常声检测方法及系统。

背景技术：

1、空调室内机安装于室内，用户更容易感知其运行的声响，尤其是在安静的夜晚。因此为满足空调室内机运行安静无异响的需求，空调室内机整机出厂下线前需要进行运转测试，由人工听诊室内机在运行状态下的声音是否正常，这样由人工听诊的方式效率低下，且人听诊的主观性对结果影响较大。

2、如今为避免主观性干扰以及实现空调内机异常声全面高效的自动化检测，基于机器学习或深度学习的空调异常声音检测技术被广泛研究和应用。然而传统机器学习技术难以应对声音这种高维度、非线性数据，效果不理想。深度学习中应用较广的无监督异常检测方法自动编码器在训练过程也无法有效学习只属于正常空调室内机运行声音的特征，导致异常声检测能力不理想。

技术实现思路

1、有鉴于此，本发明的目的在于提出了一种基于自监督学习的空调室内机异常声检测方法及系统，能够在仅有正常样本的情况下高效学习声音特征，实现无接触式实时检测空调室内机运行声，解决人力成本高、效率低下以及检测效果差的问题。

2、为实现上述目的及其他相关目的，本发明提供以下技术方案：

3、第一方面，本发明提供一种基于自监督学习的空调室内机异常声检测方法，包括如下步骤：

4、获取空调室内机正常运行声音数据得到第一声音数据；

5、将所述第一声音数据分帧、加窗得到第二声音数据；

6、对所述第二声音数据做频域特征变换，得到第三声音数据；

7、获取自监督学习模型，所述自监督学习模型包括特征压缩模块、注意力模块和特征重构模块，其中：

8、所述特征压缩模块用于对所述第二声音数据进行特征压缩映射，得到频域特征映射矩阵；

9、所述注意力模块用于学习所述频域特征映射矩阵各向量之间的关联，得到频域特征矩阵以及注意力频域特征权重向量；

10、所述特征重构模块用于重构所述频域特征矩阵，得到第二声音数据的重构；

11、利用所述第二声音数据和第三声音数据训练所述自监督学习模型，直至自监督学习模型收敛，确定自监督学习模型检测的重构误差阈值、频域特征映射误差阈值以及注意力频域特征权值相似度阈值，得到所述自监督学习模型的检测融合阈值；

12、获取待测空调内机运行声音数据，输入训练好的自监督学习模型中，将得到的所述待测空调内机运行声音数据的异常分数与所述检测融合阈值进行比较，所述异常分数大于检测融合阈值则判定待测空调运行声音异常；所述异常分数小于检测融合阈值，则判定待测空调运行声音正常。

13、作为优选地，将所述第一声音数据分帧、加窗得到第二声音数据包括：

14、将所述第一声音数据划分为训练集和验证集；

15、根据所述第一声音数据采样率，以定长时间窗和重叠时间窗确定声音数据分帧长度，以及前后帧之间重叠长度，得到第二声音数据。

16、作为优选地，对所述第二声音数据做频域特征变换，得到第三声音数据包括：

17、对所述第二声音数据做离散快速傅里叶变换，得到所述第二声音数据的频谱后，确定最小频率和最大频率；

18、根据所述最大频率和最小频率计算得到梅尔滤波器组，根据所述梅尔滤波器组和频谱计算得到所述第二声音数据的对数梅尔谱特征，所述对数梅尔谱特征为第三声音数据。

19、作为优选地，所述利用所述第二声音数据和第三声音数据训练所述自监督学习模型包括：

20、将多帧第二声音数据同时输入特征压缩模块中，得到所述频域特征映射矩阵，计算所述频域特征映射矩阵与所述第三声音数据的映射误差；

21、所述注意力模块用于学习所述频域特征映射矩阵各向量之间的关联，得到频域特征矩阵以及注意力频域特征权重向量；

22、将所述频域特征矩阵输入所述特征重构模块中，得到输入的第二声音数据的重构，计算重构误差。

23、作为优选地，所述自监督学习模型的损失函数由下式确定：

24、

25、其中，x为所述自监督学习模型的输入，为所述自监督学习模型的特征重构模块的输出，f(·)为频域特征变换，ε(·)为所述自监督学习模型的特征压缩模块，εθ为特征压缩模块的参数，α与β为所述自监督学习模型损失函数的调节参数。

26、作为优选地，得到所述自监督学习模型的检测融合阈值包括：

27、将所述第二声音数据训练集输入训练好的所述自监督学习模型中，得到所有训练集的注意力频域特征权重ivt；

28、将所述第二声音数据测试集输入训练好的所述自监督学习模型中，得到所有测试集的重构误差er、频域特征映射误差ef以及注意力频域特征权重向量ive；

29、利用所述重构误差er计算其高斯分布函数取该分布函数λ∈(0，1)处的重构误差值作为重构误差阈值thr；

30、利用所述频域特征映射误差ef计算其高斯分布函数取该分布函数μ∈(0，1)处的频域特征映射误差值作为频域特征映射误差阈值thf；

31、利用所述测试集权重ive与训练集权重ivt计算相似度，得到的相似度s由下式确定：

32、

33、式中，s(·)为相似度计算，n为训练集样本个数，为第i个测试集样本，j为第j个训练样本；

34、利用所述相似度s计算其γ布函数γs，取该分布函数φ∈(0，1)处的相似度值值作为注意力频域特征权值相似度阈值ths；

35、根据所述重构误差er、频域特征映射误差ef和相似度s计算异常分数score，根据重构误差阈值thr、频域特征映射误差阈值thf和注意力频域特征权值相似度阈值ths计算检测融合阈值th。

36、第二方面，本发明提供一种基于自监督学习的空调室内机异常声检测系统，包括：

37、采集模块，用于采集待测空调室内机运行时的声音数据；

38、计算分析模块，用于预处理待测空调室内机运行时的声音数据并输入训练好的自监督学习模型中得到检测判定结果；

39、存储模块，用于存储训练好的自监督学习模型和预设的重构误差阈值thr、频域特征映射误差阈值thf和注意力频域特征权值相似度阈值ths；

40、显示模块，用于显示所检测空调状态、运行声音检测结果和检测计算过程数值；

41、通讯模块，用于与上位机和测试工装的通信；

42、其中，所述计算分析模块包括：

43、预处理单元，用于获取空调室内机正常运行声音数据得到第一声音数据；将所述第一声音数据分帧、加窗得到第二声音数据；对所述第二声音数据做频域特征变换，得到第三声音数据；

44、计算单元，用于获取自监督学习模型，所述自监督学习模型包括特征压缩模块、注意力模块和特征重构模块，其中：所述特征压缩模块用于对所述第二声音数据进行特征压缩映射，得到频域特征映射矩阵；所述注意力模块用于学习所述频域特征映射矩阵各向量之间的关联，得到频域特征矩阵以及注意力频域特征权重向量；所述特征重构模块用于重构所述频域特征矩阵，得到第二声音数据的重构；

45、利用所述第二声音数据和第三声音数据训练所述自监督学习模型，直至自监督学习模型收敛，确定自监督学习模型检测的重构误差阈值、频域特征映射误差阈值以及注意力频域特征权值相似度阈值，得到所述自监督学习模型的检测融合阈值；

46、判定单元，用于获取待测空调内机运行声音数据，输入训练好的自监督学习模型中，将得到的所述待测空调内机运行声音数据的异常分数与所述检测融合阈值进行比较，所述异常分数大于检测融合阈值则判定待测空调运行声音异常；所述异常分数小于检测融合阈值，则判定待测空调运行声音正常。

47、作为优选地，得到所述自监督学习模型的检测融合阈值包括：

48、将所述第二声音数据训练集输入训练好的所述自监督学习模型中，得到所有训练集的注意力频域特征权重ivt；

49、将所述第二声音数据测试集输入训练好的所述自监督学习模型中，得到所有测试集的重构误差er、频域特征映射误差ef以及注意力频域特征权重向量ive；

50、利用所述重构误差er计算其高斯分布函数取该分布函数λ∈(0，1)处的重构误差值作为重构误差阈值thr；

51、利用所述频域特征映射误差ef计算其高斯分布函数取该分布函数μ∈(0，1)处的频域特征映射误差值作为频域特征映射误差阈值thf；

52、利用所述测试集权重ive与训练集权重ivt计算相似度，得到的相似度s由下式确定：

53、

54、式中，s(·)为相似度计算，n为训练集样本个数，为第i个测试集样本，j为第j个训练样本；

55、利用所述相似度s计算其γ布函数γs，取该分布函数φ∈(0，1)处的相似度值值作为注意力频域特征权值相似度阈值ths；

56、根据所述重构误差er、频域特征映射误差ef和相似度s计算异常分数score，根据重构误差阈值thr、频域特征映射误差阈值thf和注意力频域特征权值相似度阈值ths计算检测融合阈值th。

57、第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面所述基于自监督学习的空调室内机异常声检测方法的步骤。

58、第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面所述基于自监督学习的空调室内机异常声检测方法的步骤。

59、与现有技术相比，本发明的有益效果至少包括：

60、本发明只需收集空调室内机正常运行的声音样本作为训练数据即可实现空调室内机异音检测，检测无需人工参与，有效降低了人工成本。

61、本发明能够在仅有正常样本的情况下高效学习声音特征，实现无接触式实时检测空调室内机运行声，解决人力成本高、效率低下以及检测效果差的问题。