语音对抗样本的防御方法、装置、设备和存储介质与流程

本发明涉及语音识别，尤其涉及一种语音对抗样本的防御方法、装置、设备和存储介质。

背景技术：

1、在深度学习的神经网络中，可以通过添加一些肉眼难以察觉、细微的干扰，来形成的一些能够使得语音识别网络失效的对抗样本，以达到“欺骗”神经网络的效果，导致输出的结果产生较大的偏差。基于深度学习的语音识别方法已被证明易受语音对抗样本的攻击。攻击者只需在原始语音中添加微小的扰动，以至于人的耳朵难以察觉这些扰动的存在，但这些扰动可以干扰和误导语音识别系统的预测结果。

2、相关技术中，研究者将对抗样本引入到语音识别系统的训练过程中，使用对抗样本攻击之后产生的数据集对语音识别网络进行训练，得到基于已知对抗性样本训练的模型，利用训练后的模型检测输入的语音信号是否为已知的语音对抗样本，在确定输入的语音信号为已知的语音对抗样本的情况下采用对应的防御措施。但随着攻击方法的不断更新，基于已知对抗性样本训练后的模型需不断更新训练集，因而对语音对抗样本进行防御的防御效果较差。

技术实现思路

1、本发明提供一种语音对抗样本的防御方法、装置、设备和存储介质，用以解决现有技术中防御效果较差的缺陷，实现对提升语音对抗样本的防御效果。

2、第一方面，本发明提供一种语音对抗样本的防御方法，该方法包括：

3、获取原始语音指令对应的原始识别结果和降噪后的识别结果；

4、在确定所述原始识别结果与所述降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定所述降噪后的识别结果对应的第一指令是否为语音对抗样本；所述白噪声异常度用于表征输入所述原始语音指令至语音识别模型时所述原始语音指令和所处的环境的环境噪声的相关程度；

5、在所述第一指令为语音对抗样本的情况下，将所述第一指令进行作废。

6、可选地，所述在确定所述原始识别结果与所述降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定所述降噪后的识别结果对应的第一指令是否为语音对抗样本，包括：

7、将所述白噪声异常度和所述预设的异常度阈值进行比较；

8、在所述白噪声异常度小于所述预设的异常度阈值的情况下，确定所述第一指令不是语音对抗样本；

9、在所述白噪声异常度大于或等于所述预设的异常度阈值的情况下，确定所述第一指令为语音对抗样本。

10、可选地，所述在确定所述原始识别结果与所述降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定所述降噪后的识别结果对应的第一指令是否为语音对抗样本之前，还包括：

11、判断所述第一指令的指令类型；所述第一指令的指令类型包含以下任意一项：高危指令、基本指令和会话指令；

12、在所述第一指令的指令类型为高危指令的情况下，将所述第一指令进行作废；

13、在所述指令类型为会话指令的情况下，执行所述第一指令。

14、可选地，所述获取原始语音指令对应的原始识别结果和降噪后的识别结果，包括：

15、对原始语音指令进行降噪处理，得到降噪后的语音指令；

16、将所述原始语音指令输入至语音识别模型中，得到所述原始识别结果；

17、将所述降噪后的语音指令输入至所述语音识别模型中，得到所述降噪后的识别结果。

18、可选地，所述方法还包括：

19、在确定所述原始识别结果与所述降噪后的识别结果相同的情况下，将所述白噪声异常度和所述预设的异常度阈值进行比较；

20、在所述白噪声异常度小于所述预设的异常度阈值的情况下，执行所述降噪后的识别结果对应的第二指令；

21、在所述白噪声异常度大于或等于所述预设的异常度阈值的情况下，确定所述第二指令对应的指令类型；所述第二指令对应的指令类型包括：高危指令或基本指令；

22、在所述第二指令对应的指令类型为高危指令的情况下，则将所述第二指令进行作废；

23、在所述第二指令对应的指令类型为基本指令的情况下，则执行所述第二指令。

24、可选地，所述白噪声异常度为根据原始语音指令对应的功率信息、原始语音指令对应的频谱信息、白噪声对应的功率信息，以及白噪声对应的频谱信息得到的；所述环境白噪声对应的功率信息和所述环境白噪声对应的频谱信息为对所述原始语音指令所处的环境对应的白噪声进行监测得到的。

25、第二方面，本发明还提供一种语音对抗样本的防御装置，该装置包括：

26、获取模块，用于获取原始语音指令对应的原始识别结果和降噪后的识别结果；

27、防御模块，用于在确定所述原始识别结果与所述降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定所述降噪后的识别结果对应的第一指令是否为语音对抗样本；所述白噪声异常度用于表征输入所述原始语音指令至语音识别模型时所述原始语音指令和所处的环境的环境噪声的相关程度；

28、在所述第一指令为语音对抗样本的情况下，将所述第一指令进行作废。

29、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语音对抗样本的防御方法。

30、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述语音对抗样本的防御方法。

31、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语音对抗样本的防御方法。

32、本发明提供的一种语音对抗样本的防御方法、装置、设备和存储介质，首先，获取原始语音指令对应的原始识别结果和降噪后的识别结果；然后，在确定原始识别结果与降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定降噪后的识别结果对应的第一指令是否为语音对抗样本，其中，白噪声异常度用于表征输入原始语音指令至语音识别模型时所述原始语音指令和所处的环境的环境噪声的相关程度；进而，在第一指令为语音对抗样本的情况下，将第一指令进行作废。

33、本发明中因根据原始语音指令对应的原始识别结果和降噪后的识别结果的对比结果、白噪声异常度以及预设的异常度阈值，综合判断降噪后的识别结果对应的第一指令是否为语音对抗样本，识别语音对抗样本的依据因素较为广泛，识别语音对抗样本的准确性较高；进而，基于识别到的语音对抗样本对其进行防御，提升了语音对抗样本的防御效果。

技术特征：

1.一种语音对抗样本的防御方法，其特征在于，包括：

2.根据权利要求1所述的语音对抗样本的防御方法，其特征在于，所述在确定所述原始识别结果与所述降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定所述降噪后的识别结果对应的第一指令是否为语音对抗样本，包括：

3.根据权利要求1所述的语音对抗样本的防御方法，其特征在于，所述在确定所述原始识别结果与所述降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定所述降噪后的识别结果对应的第一指令是否为语音对抗样本之前，还包括：

4.根据权利要求1所述的语音对抗样本的防御方法，其特征在于，所述获取原始语音指令对应的原始识别结果和降噪后的识别结果，包括：

5.根据权利要求1-4任一项所述的语音对抗样本的防御方法，其特征在于，所述方法还包括：

6.根据权利要求1-4任一项所述的语音对抗样本的防御方法，其特征在于，所述白噪声异常度为根据原始语音指令对应的功率信息、原始语音指令对应的频谱信息、白噪声对应的功率信息，以及白噪声对应的频谱信息得到的；所述环境白噪声对应的功率信息和所述环境白噪声对应的频谱信息为对所述原始语音指令所处的环境对应的白噪声进行监测得到的。

7.一种语音对抗样本的防御装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述语音对抗样本的防御方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述语音对抗样本的防御方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述语音对抗样本的防御方法。

技术总结本发明涉及语音识别技术领域，提供一种语音对抗样本的防御方法、装置、设备和存储介质，该方法包括：获取原始语音指令对应的原始识别结果和降噪后的识别结果；在确定原始识别结果与降噪后的识别结果不相同的情况下，根据白噪声异常度和预设的异常度阈值，确定降噪后的识别结果对应的第一指令是否为语音对抗样本；白噪声异常度用于表征输入原始语音指令至语音识别模型时原始语音指令和所处的环境的环境噪声的相关程度；在第一指令为语音对抗样本的情况下，将第一指令进行作废。本发明提升了语音对抗样本的防御效果。技术研发人员：杜金浩,薛晨浩,刘睿霖,张震,沈亮,刘发强,孙旭东,倪善金,王立强,熊晶,贺文晨受保护的技术使用者：国家计算机网络与信息安全管理中心技术研发日：技术公布日：2024/3/17