音频处理方法及装置、电子设备及计算机可读存储介质与流程
- 国知局
- 2024-06-21 11:36:54
本技术涉及音频处理,尤其涉及一种音频处理方法及装置、电子设备及计算机可读存储介质。
背景技术:
1、在实际应用中,为满足需求通常需要使用音频处理算法对音频进行处理,其中,就包括利用音频处理算法对音频进行处理,以去除音频中的噪声。因此,如何评估音频处理算法的降噪效果具有非常重要的意义。
技术实现思路
1、本技术提供一种音频处理方法及装置、电子设备及计算机可读存储介质,以评估音频处理算法的降噪效果。
2、第一方面,提供了一种音频处理方法,所述方法包括:
3、获取原始音频、带噪音频和待测音频,所述原始音频包括语音,所述带噪音频通过向所述原始音频添加噪声得到,所述待测音频通过利用目标音频处理算法对所述带噪音频进行降噪得到;
4、根据所述原始音频和所述待测音频,确定所述目标音频处理算法对所述带噪音频中的语音的第一降噪效果;
5、根据所述带噪音频和所述待测音频,确定所述目标音频处理算法对所述带噪音频中的非语音的第二降噪效果;
6、根据所述第一降噪效果和所述第二降噪效果,确定所述目标音频处理算法的第三降噪效果。
7、结合本技术任一实施方式,所述根据所述原始音频和所述待测音频,确定所述目标音频处理算法对所述带噪音频中的语音的第一降噪效果,包括:
8、将所述原始音频分为n帧第一音频帧,所述n为大于1的整数;
9、将所述待测音频分为n帧第二音频帧;
10、从所述n帧第一音频帧中确定语音帧,所述语音帧为包括语音的音频帧;
11、从所述n帧第二音频帧中确定与所述语音帧对应的第三音频帧;
12、在所述第三音频帧的能量大于所述语音帧的能量的情况下,确定第一降噪效果包括所述带噪音频中的语音经过所述目标音频处理算法的处理后存在第一残留噪声;
13、在所述第三音频帧的能量小于所述语音帧的能量的情况下,确定所述第一降噪效果包括所述带噪音频中的语音经过所述目标音频处理算法的处理后存在失真。
14、结合本技术任一实施方式,在所述第三音频帧的能量大于所述语音帧的能量的情况下,所述第一降噪效果还包括所述第一残留噪声的第一能量,所述方法还包括:
15、根据所述第三音频帧的能量与所述语音帧的能量的第一差,得到所述第一能量,所述第一差与所述第一能量呈正相关。
16、结合本技术任一实施方式,所述第一降噪效果还包括第一抑制效果,所述第一抑制效果为所述目标音频处理算法抑制所述带噪音频中的语音的噪声的效果,在得到所述第一能量的情况下,所述方法还包括:
17、将所述带噪音频分为n帧第四音频帧;
18、从所述n帧第四音频帧中确定与所述语音帧对应的第五音频帧;
19、根据所述第五音频帧的能量与所述第一能量的第一差值,确定所述第一抑制效果,所述第一差值越小,所述第一抑制效果越差。
20、结合本技术任一实施方式,在所述语音帧的数量大于1的情况下,所述第一降噪效果还包括第一稳定性,所述第一稳定性为所述目标音频处理算法抑制所述带噪音频中的语音的噪声的稳定性;
21、在从所述n帧第四音频帧中确定与所述语音帧对应的第五音频帧后,所述方法还包括:
22、根据所述第一差值的第一方差,确定所述第一稳定性。
23、结合本技术任一实施方式,在所述第三音频帧的能量小于所述语音帧的能量的情况下,所述第一降噪效果还包括语音失真度,所述语音失真度为所述带噪音频中的语音经过所述目标音频处理算法的处理后失真的程度,所述方法还包括:
24、在所述第三音频帧的能量小于所述语音帧的能量的情况下,根据所述语音帧的能量与所述第三音频帧的能量的第二差,确定所述语音失真度,所述第二差与所述程度呈正相关。
25、结合本技术任一实施方式,所述从所述n帧第一音频帧中确定语音帧,包括:
26、通过对所述n帧第一音频帧进行语音活动检测,确定所述n帧第一音频帧中的所述语音帧。
27、结合本技术任一实施方式,所述第二降噪效果包括第二残留噪声的第二能量,所述第二残留噪声为所述带噪音频中的非语音中的噪声经过所述目标音频处理算法的处理后的残留噪声;
28、所述根据所述带噪音频和所述待测音频,确定所述目标音频处理算法对所述带噪音频中的非语音的第二降噪效果,包括:
29、将所述原始音频分为n帧第一音频帧,所述n为大于1的整数;
30、将所述待测音频分为n帧第二音频帧;
31、从所述n帧第一音频帧中确定非语音帧,所述非语音帧为除语音帧之外的音频帧,所述非语音帧为除所述语音帧之外的音频帧;
32、从所述n帧第二音频帧中确定与所述非语音帧对应的第六音频帧;
33、根据所述第六音频帧的能量,得到所述第二能量。
34、结合本技术任一实施方式,所述第二降噪效果还包括第二抑制效果,所述第二抑制效果为所述目标音频处理算法抑制所述带噪音频中的非语音的噪声的效果,在得到所述第二能量的情况下,所述方法还包括:
35、将所述带噪音频分为n帧第四音频帧;
36、从所述n帧第四音频帧中确定与所述非语音帧对应的第七音频帧;
37、根据所述第七音频帧的能量与所述第二能量的第二差值,确定所述第二抑制效果,所述第二差值越小,所述第二抑制效果越差。
38、结合本技术任一实施方式,在所述非语音帧的数量大于1的情况下,所述第二降噪效果还包括第二稳定性,所述第二稳定性为所述目标音频处理算法抑制所述带噪音频中的非语音的噪声的稳定性;
39、在从所述n帧第四音频帧中确定与所述非语音帧对应的第七音频帧后,所述方法还包括:
40、根据所述第二差值的第二方差,确定所述第二稳定性。
41、结合本技术任一实施方式,所述根据所述第一降噪效果和所述第二降噪效果,确定所述目标音频处理算法的第三降噪效果,包括:
42、将所述第一降噪效果和所述第二降噪效果,作为所述第三降噪效果。
43、结合本技术任一实施方式,所述根据所述第一降噪效果和所述第二降噪效果,确定所述目标音频处理算法的第三降噪效果,包括:
44、在所述第一降噪效果包括对所述语音帧中的噪声的第一抑制效果,且所述第二降噪效果包括对所述非语音帧中的噪声的第二抑制效果的情况下,根据所述第一抑制效果与所述第二抑制效果的差异,确定所述第三降噪效果包括第三稳定性,所述第三稳定性表征所述目标音频处理算法抑制音频中的噪声的稳定性。
45、第二方面,提供了一种音频处理装置,所述音频处理装置包括:
46、获取单元,用于获取原始音频、带噪音频和待测音频,所述原始音频包括语音,所述带噪音频通过向所述原始音频添加噪声得到,所述待测音频通过利用目标音频处理算法对所述带噪音频进行降噪得到;
47、确定单元,用于根据所述原始音频和所述待测音频,确定所述目标音频处理算法对所述带噪音频中的语音的第一降噪效果;
48、所述确定单元,用于根据所述带噪音频和所述待测音频,确定所述目标音频处理算法对所述带噪音频中的非语音的第二降噪效果;
49、所述确定单元,用于根据所述第一降噪效果和所述第二降噪效果,确定所述目标音频处理算法的第三降噪效果。
50、结合本技术任一实施方式,所述确定单元,用于:
51、将所述原始音频分为n帧第一音频帧,所述n为大于1的整数;
52、将所述待测音频分为n帧第二音频帧;
53、从所述n帧第一音频帧中确定语音帧,所述语音帧为包括语音的音频帧;
54、从所述n帧第二音频帧中确定与所述语音帧对应的第三音频帧;
55、在所述第三音频帧的能量大于所述语音帧的能量的情况下,确定第一降噪效果包括所述带噪音频中的语音经过所述目标音频处理算法的处理后存在第一残留噪声;
56、在所述第三音频帧的能量小于所述语音帧的能量的情况下,确定所述第一降噪效果包括所述带噪音频中的语音经过所述目标音频处理算法的处理后存在失真。
57、结合本技术任一实施方式,所述音频处理装置还包括:
58、处理单元,用于根据所述第三音频帧的能量与所述语音帧的能量的第一差,得到所述第一能量,所述第一差与所述第一能量呈正相关。
59、结合本技术任一实施方式,所述第一降噪效果还包括第一抑制效果,所述第一抑制效果为所述目标音频处理算法抑制所述带噪音频中的语音的噪声的效果,所述音频处理装置,还包括:划分单元,用于将所述带噪音频分为n帧第四音频帧;
60、所述确定单元,还用于从所述n帧第四音频帧中确定与所述语音帧对应的第五音频帧;
61、所述确定单元,还用于根据所述第五音频帧的能量与所述第一能量的第一差值,确定所述第一抑制效果,所述第一差值越小,所述第一抑制效果越差。
62、结合本技术任一实施方式,在所述语音帧的数量大于1的情况下,所述第一降噪效果还包括第一稳定性,所述第一稳定性为所述目标音频处理算法抑制所述带噪音频中的语音的噪声的稳定性;
63、所述确定单元,还用于:根据所述第一差值的第一方差,确定所述第一稳定性。
64、结合本技术任一实施方式,在所述第三音频帧的能量小于所述语音帧的能量的情况下,所述第一降噪效果还包括语音失真度,所述语音失真度为所述带噪音频中的语音经过所述目标音频处理算法的处理后失真的程度,所述确定单元,还用于在所述第三音频帧的能量小于所述语音帧的能量的情况下,根据所述语音帧的能量与所述第三音频帧的能量的第二差,确定所述语音失真度,所述第二差与所述程度呈正相关。
65、结合本技术任一实施方式,所述确定单元,用于通过对所述n帧第一音频帧进行语音活动检测,确定所述n帧第一音频帧中的所述语音帧。
66、结合本技术任一实施方式,所述第二降噪效果包括第二残留噪声的第二能量,所述第二残留噪声为所述带噪音频中的非语音中的噪声经过所述目标音频处理算法的处理后的残留噪声;
67、所述确定单元,用于:
68、将所述原始音频分为n帧第一音频帧,所述n为大于1的整数;
69、将所述待测音频分为n帧第二音频帧;
70、从所述n帧第一音频帧中确定非语音帧,所述非语音帧为除语音帧之外的音频帧,所述非语音帧为除所述语音帧之外的音频帧;
71、从所述n帧第二音频帧中确定与所述非语音帧对应的第六音频帧;
72、根据所述第六音频帧的能量,得到所述第二能量。
73、结合本技术任一实施方式,所述第二降噪效果还包括第二抑制效果,所述第二抑制效果为所述目标音频处理算法抑制所述带噪音频中的非语音的噪声的效果,所述音频处理装置,还包括:划分单元,用于将所述带噪音频分为n帧第四音频帧;
74、所述确定单元,还用于从所述n帧第四音频帧中确定与所述非语音帧对应的第七音频帧;
75、所述确定单元,还用于根据所述第七音频帧的能量与所述第二能量的第二差值,确定所述第二抑制效果,所述第二差值越小,所述第二抑制效果越差。
76、结合本技术任一实施方式,在所述非语音帧的数量大于1的情况下,所述第二降噪效果还包括第二稳定性,所述第二稳定性为所述目标音频处理算法抑制所述带噪音频中的非语音的噪声的稳定性;
77、所述确定单元,还用于根据所述第二差值的第二方差,确定所述第二稳定性。
78、结合本技术任一实施方式,所述根据所述第一降噪效果和所述第二降噪效果,确定所述目标音频处理算法的第三降噪效果,包括:
79、将所述第一降噪效果和所述第二降噪效果,作为所述第三降噪效果。
80、结合本技术任一实施方式,所述确定单元,用于:在所述第一降噪效果包括对所述语音帧中的噪声的第一抑制效果,且所述第二降噪效果包括对所述非语音帧中的噪声的第二抑制效果的情况下,根据所述第一抑制效果与所述第二抑制效果的差异,确定所述第三降噪效果包括第三稳定性,所述第三稳定性表征所述目标音频处理算法抑制音频中的噪声的稳定性。
81、第三方面,提供了一种电子设备,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
82、第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任一实施方式。
83、第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任一实施方式。
84、第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一实施方式。
85、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本技术。
86、本技术中,原始音频包括语音,带噪音频通过向原始音频添加噪声得到,待测音频通过利用目标音频处理算法对带噪音频进行降噪得到。音频处理装置在获取原始音频、带噪音频和待测音频后,根据原始音频和待测音频,确定目标音频处理算法对带噪音频中的语音的第一降噪效果,根据带噪音频和待测音频,确定目标音频处理算法对带噪音频中的非语音的第二降噪效果。然后再根据第一降噪效果和第二降噪效果,确定目标音频处理算法的第三降噪效果,可实现从不同角度评价目标音频处理算法的降噪效果,进而可提升第三降噪效果的准确度。
本文地址:https://www.jishuxx.com/zhuanli/20240618/22431.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表