音频数据处理方法、装置、电子设备及存储介质与流程

本公开涉及计算机，尤其涉及一种音频数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着互联网的高速发展，用户可以在互联网平台上进行音频和视频的分享，例如：用户可以通过终端等音频采集设备进行音频数据的采集，并将采集的音频数据上传到互联网平台上进行分享。

2、但由于受音频采集设备的质量和录音环境的影响，会导致采集的音频数据中存在环境噪声、房间混响以及人声音质的失真等问题。

3、相关技术中，采用深度降噪算法对音频数据进行降噪，可以起到降低背景噪声和环境混响的效果，但对于音频采集设备导致的高频数据缺失等问题，尚没有较好的解决方式。

技术实现思路

1、本公开提供一种音频数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中由于音频采集设备性能影响导致高频数据缺失的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种音频数据处理方法，包括：

3、对待处理音频数据进行时频域变换，得到所述待处理音频数据的时频域特征，所述时频域特征包括原始幅度特征；

4、对所述原始幅度特征进行降噪处理，得到降噪幅度特征，所述降噪幅度特征中包括低频频带对应的第一幅度特征、及高频频带对应的第二幅度特征；

5、根据所述第一幅度特征进行频带扩展，得到所述高频频带对应的第三幅度特征；

6、融合所述第二幅度特征和所述第三幅度特征，得到所述高频频带对应的目标幅度特征；

7、对所述第一幅度特征和所述目标幅度特征进行时频域逆变换，得到修复后的所述待处理音频数据。

8、在其中一个实施例中，所述原始幅度特征包括原始低频幅度特征和原始高频幅度特征，所述对所述原始幅度特征进行降噪处理，得到降噪幅度特征，包括：

9、将所述原始低频幅度特征输入低频降噪模型进行降噪处理，得到所述低频频带对应的第一幅度特征；

10、将所述第一幅度特征和所述原始高频幅度特征输入高频降噪模型进行降噪处理，得到所述高频频带对应的第二幅度特征。

11、在其中一个实施例中，所述根据所述第一幅度特征进行频带扩展，得到所述高频频带对应的第三幅度特征，包括：

12、采用频带均衡增益，对所述第一幅度特征进行均衡处理，得到均衡幅度特征；

13、对所述均衡幅度特征进行频带扩展处理，得到所述高频频带对应的第三幅度特征。

14、在其中一个实施例中，所述融合所述第二幅度特征和所述第三幅度特征，得到所述高频频带对应的目标幅度特征，包括：

15、对所述原始幅度特征中的各高频频带进行有效评估，得到各所述高频频带的有效评估结果；

16、根据各所述高频频带的有效评估结果对所述第二幅度特征和所述第三幅度特征进行融合，得到所述高频频带对应的目标幅度特征。

17、在其中一个实施例中，所述对所述原始幅度特征中的各高频频带进行有效评估，得到各所述高频频带的有效评估结果，包括：

18、根据所述原始幅度特征中各所述频带的能量确定有效频宽；

19、根据所述有效频宽，分别对所述原始幅度特征中各高频频带进行有效评估，得到各所述高频频带的有效评估结果。

20、在其中一个实施例中，所述根据所述原始幅度特征中各所述频带的能量确定有效频宽，包括：

21、计算所述原始幅度特征中各频带的能量，并根据所述原始幅度特征中各频带的能量，确定所述原始幅度特征对应的评估能量阈值；

22、根据所述评估能量阈值，确定有效频带；其中，所述有效频带与第一频带的能量累加和大于或者等于所述评估能量阈值，所述第一频带的能量累加和小于所述评估能量阈值，所述第一频带为小于所述有效频带的所有频带；

23、根据所述有效频带及音频采样率，确定有效频宽。

24、在其中一个实施例中，所述根据所述有效频宽，分别对所述原始幅度特征中各高频频带进行有效评估，得到各所述高频频带的有效评估结果，包括：

25、针对所述原始幅度特征中的任一高频频带，在所述高频频带的中心频率大于所述有效频宽的情况下，得到针对所述高频频带的第一评估结果，或者，在所述高频频带的中心频率小于或者等于所述有效频宽的情况下，得到针对所述高频频带的第二评估结果；

26、其中，所述第一评估结果表征所述原始幅度特征中所述高频频带缺失，所述第二评估结果表征所述原始幅度特征中所述高频频带存在。

27、在其中一个实施例中，所述根据各所述高频频带的有效评估结果对所述第二幅度特征和所述第三幅度特征进行融合，得到所述高频频带对应的目标幅度特征，包括：

28、针对任一所述高频频带，在所述有效评估结果表征所述原始幅度特征中所述高频频带缺失的情况下，将所述第三幅度特征中所述高频频带对应的特征值作为所述高频频带的目标特征值；或者，

29、在所述有效评估结果表征所述原始幅度特征中所述高频频带存在的情况下，将所述第二幅度特征中所述高频频带对应的特征值作为所述高频频带的目标特征值；

30、根据各所述高频频带的目标特征值，构建得到目标幅度特征。

31、在其中一个实施例中，所述时频域特征还包括原始低频相位特征和原始高频相位特征，所述对所述第一幅度特征和所述目标幅度特征进行时频域逆变换，得到修复后的所述待处理音频数据，包括：

32、对所述原始低频相位特征进行翻折处理，得到所述第三幅度特征对应的目标相位特征；

33、根据各所述高频频带的有效评估结果，融合所述原始高频相位特征和所述目标相位特征，得到所述目标幅度特征对应的高频相位特征；

34、根据所述第一幅度特征及所述原始低频相位特征、所述目标幅度特征及所述高频相位特征，进行时频域逆变换，得到修复后的所述待处理音频数据。

35、根据本公开实施例的第二方面，提供一种音频数据处理装置，包括：

36、第一变换单元，被配置为执行对待处理音频数据进行时频域变换，得到所述待处理音频数据的时频域特征，所述时频域特征包括原始幅度特征；

37、降噪单元，被配置为执行对所述原始幅度特征进行降噪处理，得到降噪幅度特征，所述降噪幅度特征中包括低频频带对应的第一幅度特征、及高频频带对应的第二幅度特征；

38、扩展单元，被配置为执行根据所述第一幅度特征进行频带扩展，得到所述高频频带对应的第三幅度特征；

39、融合单元，被配置为执行融合所述第二幅度特征和所述第三幅度特征，得到所述高频频带对应的目标幅度特征；

40、第二变换单元，被配置为执行对所述第一幅度特征和所述目标幅度特征进行时频域逆变换，得到修复后的所述待处理音频数据。

41、在其中一个实施例中，所述原始幅度特征包括原始低频幅度特征和原始高频幅度特征，所述降噪单元，还被配置为执行：

42、将所述原始低频幅度特征输入低频降噪模型进行降噪处理，得到所述低频频带对应的第一幅度特征；

43、将所述第一幅度特征和所述原始高频幅度特征输入高频降噪模型进行降噪处理，得到所述高频频带对应的第二幅度特征。

44、在其中一个实施例中，所述扩展单元，还被配置为执行：

45、采用频带均衡增益，对所述第一幅度特征进行均衡处理，得到均衡幅度特征；

46、对所述均衡幅度特征进行频带扩展处理，得到所述高频频带对应的第三幅度特征。

47、在其中一个实施例中，所述融合单元，还被配置为执行：

48、对所述原始幅度特征中的各高频频带进行有效评估，得到各所述高频频带的有效评估结果；

49、根据各所述高频频带的有效评估结果对所述第二幅度特征和所述第三幅度特征进行融合，得到所述高频频带对应的目标幅度特征。

50、在其中一个实施例中，所述融合单元，还被配置为执行：

51、根据所述原始幅度特征中各所述频带的能量确定有效频宽；

52、根据所述有效频宽，分别对所述原始幅度特征中各高频频带进行有效评估，得到各所述高频频带的有效评估结果。

53、在其中一个实施例中，所述融合单元，还被配置为执行：

54、计算所述原始幅度特征中各频带的能量，并根据所述原始幅度特征中各频带的能量，确定所述原始幅度特征对应的评估能量阈值；

55、根据所述评估能量阈值，确定有效频带；其中，所述有效频带与第一频带的能量累加和大于或者等于所述评估能量阈值，所述第一频带的能量累加和小于所述评估能量阈值，所述第一频带为小于所述有效频带的所有频带；

56、根据所述有效频带及音频采样率，确定有效频宽。

57、在其中一个实施例中，所述融合单元，还被配置为执行：

58、针对所述原始幅度特征中的任一高频频带，在所述高频频带的中心频率大于所述有效频宽的情况下，得到针对所述高频频带的第一评估结果，或者，在所述高频频带的中心频率小于或者等于所述有效频宽的情况下，得到针对所述高频频带的第二评估结果；

59、其中，所述第一评估结果表征所述原始幅度特征中所述高频频带缺失，所述第二评估结果表征所述原始幅度特征中所述高频频带存在。

60、在其中一个实施例中，所述融合单元，还被配置为执行：

61、针对任一所述高频频带，在所述有效评估结果表征所述原始幅度特征中所述高频频带缺失的情况下，将所述第三幅度特征中所述高频频带对应的特征值作为所述高频频带的目标特征值；或者，

62、在所述有效评估结果表征所述原始幅度特征中所述高频频带存在的情况下，将所述第二幅度特征中所述高频频带对应的特征值作为所述高频频带的目标特征值；

63、根据各所述高频频带的目标特征值，构建得到目标幅度特征。

64、在其中一个实施例中，所述时频域特征还包括原始低频相位特征和原始高频相位特征，所述第二变换单元，还被配置为执行：

65、对所述原始低频相位特征进行翻折处理，得到所述第三幅度特征对应的目标相位特征；

66、根据各所述高频频带的有效评估结果，融合所述原始高频相位特征和所述目标相位特征，得到所述目标幅度特征对应的高频相位特征；

67、根据所述第一幅度特征及所述原始低频相位特征、所述目标幅度特征及所述高频相位特征，进行时频域逆变换，得到修复后的所述待处理音频数据。

68、根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现第一方面中提供的任一项音频数据处理方法。

69、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面中提供的任一项音频数据处理方法。

70、根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行第一方面中提供的任一项音频数据处理方法。

71、本公开的实施例提供的技术方案至少带来以下有益效果：

72、采用本公开实施例提供的音频数据处理方法、装置、电子设备及存储介质，可以对待处理音频数据进行时频域变换，得到待处理音频数据的时频域特征，该时频域特征包括原始幅度特征。对原始幅度特征进行降噪处理，得到降噪幅度特征，该降噪幅度特征中包括低频频带对应的第一幅度特征、及高频频带对应的第二幅度特征。根据第一幅度特征进行频带扩展，得到高频频带对应的第三幅度特征，并融合第二幅度特征和第三幅度特征，可以得到高频频带对应的目标幅度特征，进一步的，对第一幅度特征和目标幅度特征进行时频域逆变换，可以得到修复后的待处理音频数据。采用本公开实施例提供的音频数据处理方法、装置、电子设备及存储介质，在降噪过程中，通过对低频频带的幅度特征进行频带扩展，以基于频带扩展结果补全高频频带缺失部分的幅度特征，解决了音频采集设备性能影响导致的高频数据缺失问题，提高了音频修复效果，提高了音频数据质量。

73、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。