一种音频信号的处理方法及装置与流程

本公开涉及数据处理，尤其涉及一种音频信号的处理方法及装置。

背景技术：

1、目前，在voip(voice over internet protocol，基于ip的语音传输)通话中，由于网络丢包、抖动等原因，可能出现当前播放时间戳数据未收到的情况。为了解决上述问题，通常会在接收端使用上一帧的音频信号作为丢包帧的音频信号，再利用带宽扩展技术的编解码器对播放数据进行补偿。

2、在使用了带宽扩展技术的编解码器中，如果在接收端发生丢包，高频带信号和低频带信号均需要进行重建，最终合成输出的语音信号，如果高频信号恢复质量不佳，会出现较大的高频杂音，进而导致合成语音质量出现明显下降，影响用户体验。

技术实现思路

1、有鉴于此，本公开实施例提供了一种音频信号的处理方法及装置，用于在发生丢包时，提高恢复的高频信号的质量。

2、为了实现上述目的，本公开实施例提供技术方案如下：

3、第一方面，本公开的实施例提供了一种音频信号的处理方法，包括：

4、确定第一音频帧的编码数据是否丢失；

5、当确定所述第一音频帧的编码数据丢失，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属音频帧；

6、根据所述第一低频残差信号生成第二低频残差信号；所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合；

7、根据所述第二低频残差信号、构建所述第一音频帧的高频信号。

8、作为本公开实施例一种可选的实施方式，所述方法还包括：

9、获取第一增益值，所述第一增益值为所述第二音频帧的高频增益值；

10、通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值；

11、所述根据所述第二低频残差信号构建所述第一音频帧的高频信号，包括：

12、根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号。

13、作为本公开实施例一种可选的实施方式，所述方法还包括：

14、获取第一线性预测系数，所述第一线性预测系数为所述第二音频帧的线性预测系数；

15、所述根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号，包括：

16、根据所述第二低频残差信号、所述第二增益值以及所述第一线性预测系数，构建所述第一音频帧的高频信号。

17、作为本公开实施例一种可选的实施方式，所述根据所述第一低频残差信号生成第二低频残差信号，包括：

18、针对所述第二低频残差信号的各个采样点，随机从所述目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

19、作为本公开实施例一种可选的实施方式，在根据所述第一增益值和第一衰减系数获取第二增益值之前，所述方法还包括：

20、获取所述第一音频帧的类型和第一连续丢包次数，所述第一连续丢包次数为连续丢失编码数据的音频帧的数量；

21、根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数。

22、作为本公开实施例一种可选的实施方式，所述根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数，包括：

23、判断所述第一连续丢包次数是否大于第一阈值次数；

24、若是，则将所述第一衰减系数确定为第一预设值；

25、若否，则根据所述第一音频帧的类型获取所述第一衰减系数。

26、作为本公开实施例一种可选的实施方式，所述根据所述第一音频帧的类型获取所述第一衰减系数，包括：

27、当所述第一音频帧的类型为浊音时，将所述第一衰减系数确定为第二预设值；

28、当所述第一音频帧的类型不为浊音时，将所述第一衰减系数确定为第三预设值。

29、作为本公开实施例一种可选的实施方式，所述根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号，包括：

30、根据所述第二低频残差信号和所述第二增益值获取第一高频残差信号；

31、根据所述第一高频残差信号和所述第一线性预测系数生成所述第一音频帧的高频信号。

32、作为本公开实施例一种可选的实施方式，所述方法还包括：

33、生成所述第一音频帧的低频信号；

34、根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

35、作为本公开实施例一种可选的实施方式，所述方法还包括：

36、若所述第一音频帧的编码数据未丢失，则判断第三音频帧的编码数据是否丢失，所述第三音频帧为所述第一音频帧的上一个音频帧；

37、若所述第三音频帧的编码数据丢失，则根据所述第二衰减系数和第三增益值获取第四增益值，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值；

38、根据所述第四增益值构建所述第一音频帧的高频信号。

39、作为本公开实施例一种可选的实施方式，在根据第二衰减系数和第三增益值获取第四增益值之前，所述方法还包括：

40、获取第二连续丢包次数；所述第二连续丢包次数为连续丢失编码数据的音频帧的数量；

41、根据所述第二连续丢包次数获取第二衰减系数。

42、作为本公开实施例一种可选的实施方式，所述根据所述第四增益值构建所述第一音频帧的高频信号，包括：

43、根据第三低频残差信号和所述第四增益值获取第二高频残差信号；所述第三低频残差信号为根据所述编码数据获取的所述第一音频帧的低频残差信号；

44、根据所述第二高频残差信号和第二线性预测系数生成所述第一音频帧的高频信号，所述第二线性预测系数为根据所述编码数据获取的所述第一音频帧的线性预测系数。

45、第二方面，本公开实施例提供了一种音频信号的处理装置，包括：

46、确定单元，用于确定第一音频帧的编码数据是否丢失；

47、获取单元，用于当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；

48、处理单元，用于根据所述第一低频残差信号生成第二低频残差信号；所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合；

49、构建单元，用于根据所述第二低频残差信号，构建所述第一音频帧的高频信号。

50、作为本公开实施例一种可选的实施方式，所述获取单元还用于获取第一增益值，所述第一增益值为所述第二音频帧的高频增益值；通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值；所述根据所述第二低频残差信号构建所述第一音频帧的高频信号，包括：根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号。

51、作为本公开实施例一种可选的实施方式，所述获取单元还用于获取第一线性预测系数，所述第一线性预测系数为所述第二音频帧的线性预测系数；所述根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号，包括：根据所述第二低频残差信号、所述第二增益值以及所述第一线性预测系数，构建所述第一音频帧的高频信号。

52、作为本公开实施例一种可选的实施方式，所述处理单元，具体用于针对所述第二低频残差信号的各个采样点，随机从所述目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

53、作为本公开实施例一种可选的实施方式，所述获取单元还用于获取所述第一音频帧的类型和第一连续丢包次数，所述第一连续丢包次数为连续丢失编码数据的音频帧的数量；根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数。

54、作为本公开实施例一种可选的实施方式，所述获取单元还用于判断所述第一连续丢包次数是否大于第一阈值次数；若是，则将所述第一衰减系数确定为第一预设值；若否，则根据所述第一音频帧的类型获取所述第一衰减系数。

55、作为本公开实施例一种可选的实施方式，所述处理单元还用于当所述第一音频帧的类型为浊音时，将所述第一衰减系数确定为第二预设值；当所述第一音频帧的类型不为浊音时，将所述第一衰减系数确定为第三预设值。

56、作为本公开实施例一种可选的实施方式，所述处理单元还用于生成所述第一音频帧的低频信号；根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

57、作为本公开实施例一种可选的实施方式，所述确定单元，还用于在所述第一音频帧的编码数据未丢失的情况下，判断第三音频帧的编码数据是否丢失，所述第三音频帧为所述第一音频帧的上一个音频帧；

58、所述获取单元包括：

59、增益值获取模块，用于在所述第三音频帧的编码数据丢失的情况下，根据所述第二衰减系数和第三增益值获取第四增益值，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值；

60、所述构建单元，还用于根据所述第四增益值构建所述第一音频帧的高频信号。

61、作为本公开实施例一种可选的实施方式，所述获取单元还用于在根据第二衰减系数和第三增益值获取第四增益值之前，获取第二连续丢包次数；所述第二连续丢包次数为连续丢失编码数据的音频帧的数量；根据所述第二连续丢包次数获取第二衰减系数。

62、作为本公开实施例一种可选的实施方式，所述获取单元还用于判断所述第二连续丢包次数是否大于第二阈值次数；若是，则将所述第二衰减系数确定为第四预设值；若否，则将所述第二衰减系数确定为第五预设值。

63、作为本公开实施例一种可选的实施方式，所述构建模块，还用于根据第三低频残差信号和所述第四增益值获取第二高频残差信号；所述第三低频残差信号为根据所述编码数据获取的所述第一音频帧的低频残差信号；根据所述第二高频残差信号和第二线性预测系数生成所述第一音频帧的高频信号，所述第二线性预测系数为根据所述编码数据获取的所述第一音频帧的线性预测系数。

64、第三方面，本公开实施例提供一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现上述任一实施方式所述的音频信号的处理方法。

65、第四方面，本公开实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述任一实施方式所述的音频信号的处理方法。

66、第五方面，本公开实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述任一实施方式所述的音频信号的处理方法。

67、本公开实施例提供的音频信号的处理方法是通过确定第一音频帧的编码数据是否丢失来进一步处理音频信号，当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，再根据第一低频残差信号完成对第一音频帧的高频信号的构建。由于本公开实施例可以在音频帧的编码数据丢失时会获取最近一次正常接收的音频帧的低频残差信号，生成各个采样点的幅度值均属于最近一次正常接收的音频帧的低频残差信号的各个采样点的幅度值的第二低频残差信号，使第二低频残差信号与最近一次正常接收的音频帧的低频残差信号能量相近，最后根据所述第二低频残差信号，构建编码数据丢失的音频帧的高频信号，因此本公开实施例可以使构建的高频信号能量平稳，从而减少高频信号中的杂音，进而使恢复出的高频语音信号的质量更佳，合成的语音质量更高，提升用户体验。