由终端设备执行的方法和设备与流程

本公开涉及音频信号处理和人工智能，具体而言，本公开涉及一种由终端设备执行的方法、电子设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、在音频信号的传输过程中，由于传输信道的干扰、通信网络的延迟或数据传输错误等原因，在接收端的接收的信号经常会发生数据缺失，例如发生音频信号帧的丢失。解码器根据缺失的数据进行解码时，为了改善由于信号帧丢失而导致的音频质量受损，通常会采用技术手段对缺失的信号帧进行重建，以使得解码后的音频听起来相对自然，就像是原本的信号帧没有缺失一样。因此，这种技术也被称作丢包补偿(packet lossconcealment)、丢帧隐藏、丢失帧隐藏等。很多解码器中也会设置专门的plc模块用以实现丢帧隐藏。

2、丢帧隐藏的目的是使恢复的帧尽可能地接近原始帧，从而提供更为流畅和逼真的收听效果。相关技术中主要包括基于信号处理的隐藏方法和基于深度神经网络的隐藏方法。现有技术中的丢包补偿方法的效果不自然，使得用户的收听感受较差。

技术实现思路

1、本公开实施例旨在一定程度上解决上述问题的至少一个方面。为此，本公开实施例提供了由终端设备执行的系列的技术方案和音频信号解码系列的技术方案。

2、根据本公开实施例的第一方面，提供了一种由终端设备执行的方法，其包括：

3、基于音频信号的缺失帧之前的第一指定数量的第一已知帧的时频信息，通过第一神经网络生成缺失帧的低频分量；

4、基于缺失帧之前第二指定数量的第二已知帧确定缺失帧为过渡帧时，基于缺失帧之前第三指定数量的第三已知帧的时频信息，通过第二神经网络生成缺失帧的高频分量；以及

5、根据缺失帧的低频分量和高频分量恢复缺失帧。

6、根据本公开实施例的第二个方面，提供了音频信号解码方法，其包括：

7、检测接收到的音频数据是否存在数据缺失；

8、当不存在数据缺失时，进行正常解码，并将解码后的音频信号帧存储到播放缓冲区；

9、当存在数据缺失时，使用丢帧隐藏方法对缺失的数据进行恢复，其中，丢帧隐藏方法包括根据本公开第一方面的由终端设备执行的方法；

10、根据对缺失的数据的恢复结果，对播放缓冲区进行更新。

11、根据本公开实施例的第三方面，提供了一种电子设备，该电子设备包括：

12、存储器；

13、处理器；以及

14、存储在存储器上的计算机程序，

15、处理器执行计算机程序时，实现根据本公开第一方面的由终端设备执行的方法或根据本公开第二方面的音频信号解码方法。

16、根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现根据本公开第一方面的由终端设备执行的方法的或根据本公开第二方面的音频信号解码方法。

17、根据本公开实施例的第五方面，包括有计算机程序，其特征在于，计算机程序被处理器执行时实现根据本公开第一方面的由终端设备执行的方法的或根据本公开第二方面的音频信号解码方法。

18、本公开实施例提供的技术方案带来的有益效果，将在下文中结合可选实施例进行介绍。

技术特征：

1.一种由终端设备执行的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述生成所述缺失帧的低频分量，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一已知帧的时频信息和所述第一已知帧之间的频域相关性，通过第一神经网络生成所述缺失帧的低频分量，包括：

4.根据权利要求2所述的方法，其特征在于，所述第一神经网络包括依次级联的编码网络、预测网络和解码网络；

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述生成所述缺失帧的低频分量，包括：

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述基于所述缺失帧之前第二指定数量的第二已知帧确定所述缺失帧为过渡帧，包括：

7.根据权利要求6所述的方法，其特征在于，根据所述第二已知帧之间的频域相关性确定所述缺失帧为过渡帧包括：

8.根据权利要求1至7中任一项所述的方法，其特征在于，还包括：

9.根据权利要求8所述的方法，其特征在于，还包括：

10.根据权利要求6或7所述的方法，其特征在于，所述第二已知帧之间的频域相关性包括：第二已知帧中任意相邻帧之间的频域相关性。

11.一种电子设备，包括：

12.根据权利要求11所述的电子设备，其特征在于，所述电子设备为耳机或可穿戴设备，所述耳机或可穿戴设备包括用于与通信设备进行无线音频信息传输的通信模块。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10中任一项所述的方法。

技术总结本公开提供了由终端设备执行的方法、电子设备及计算机可读存储介质，涉及音频信号处理和人工智能。由终端设备执行的方法包括：基于音频信号的缺失帧之前的第一指定数量的第一已知帧的时频信息，通过第一神经网络生成缺失帧的低频分量；基于缺失帧之前第二指定数量的第二已知帧确定缺失帧为过渡帧时，基于缺失帧之前第三指定数量的第三已知帧的时频信息，通过第二神经网络生成缺失帧的高频分量；根据缺失帧的低频分量和高频分量恢复缺失帧。技术研发人员：朱恒,姚丽晓,王立众受保护的技术使用者：北京三星通信技术研究有限公司技术研发日：技术公布日：2024/4/29