音频丢包数据恢复方法、装置、电子设备及存储介质与流程

本申请涉及音频领域，具体涉及一种音频丢包数据恢复方法、装置、电子设备及存储介质。

背景技术：

1、由于网络传输数据时总是不可避免地会出现丢包，因此音频数据在网络传输过程中也是不可避免地会出现音频丢包。在各种音视频相关的应用(例如：在线会议应用、在线k歌应用等)中，音频丢包会导致音频卡顿和音频失真。因此为了尽量避免音频卡顿和音频失真，需要对音频丢包数据进行恢复。现有技术提出的音频丢包数据恢复技术，在满足准确性要求的时候难以满足低时延要求，在满足低时延要求的时候又难以满足准确性要求。

技术实现思路

1、本申请的一个目的在于提出一种音频丢包数据恢复方法、装置、电子设备及存储介质，能够同时满足音频丢包数据恢复的准确性要求和低时延要求。

2、根据本申请实施例的一方面，公开了一种音频丢包数据恢复方法，所述方法包括：

3、将目标音频和所述目标音频的参考音频进行对齐，得到音频对齐结果，其中，所述目标音频存在数据缺失的丢包帧；

4、根据所述目标音频的丢包帧位置和所述音频对齐结果，获取所述参考音频中对应于所述丢包帧位置的第一参考帧，并获取位于所述第一参考帧之前且与所述第一参考帧相邻的第二参考帧；

5、基于所述第一参考帧与所述第二参考帧之间的音频特征关联，以位于所述丢包帧之前且与所述丢包帧相邻的在前目标帧为基准，对所述丢包帧进行数据恢复。

6、根据本申请实施例的一方面，公开了一种音频丢包数据恢复装置，所述装置包括：

7、音频对齐模块，配置为将目标音频和所述目标音频的参考音频进行对齐，得到音频对齐结果，其中，所述目标音频存在数据缺失的丢包帧；

8、参考帧获取模块，配置为根据所述目标音频的丢包帧位置和所述音频对齐结果，获取所述参考音频中对应于所述丢包帧位置的第一参考帧，并获取位于所述第一参考帧之前且与所述第一参考帧相邻的第二参考帧；

9、数据恢复模块，配置为基于所述第一参考帧与所述第二参考帧之间的音频特征关联，以位于所述丢包帧之前且与所述丢包帧相邻的在前目标帧为基准，对所述丢包帧进行数据恢复。

10、根据本申请实施例的一方面，公开了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各种可选实现方式中提供的方法。

11、根据本申请实施例的一方面，公开了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述各种可选实现方式中提供的方法。

12、根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

13、本申请实施中，将存在丢包帧的目标音频和参考音频进行对齐，进而根据目标音频的丢包帧位置和音频对齐结果，获取参考音频中对应于丢包帧位置的第一参考帧，并获取位于第一参考帧之前且与之相邻的第二参考帧，进而基于第一参考帧与第二参考帧之间的音频特征关联，以丢包帧的在前目标帧为基准，对丢包帧进行数据恢复。通过这种方法，无论相邻帧信号是否发生较大改变，本申请均能够准确地对丢包帧进行数据恢复，满足音频丢包数据恢复的准确性要求；同时，由于本申请节省了为获取丢包帧之后的在后信息所花费的等待时间，因此还能够满足音频丢包数据恢复的低时延要求。由此可见，本申请能够同时满足音频丢包数据恢复的准确性要求和低时延要求。

14、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

15、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

技术特征：

1.一种音频丢包数据恢复方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，将目标音频和所述目标音频的参考音频进行对齐，得到音频对齐结果，包括：

5.根据权利要求1所述的方法，其特征在于，将目标音频和所述目标音频的参考音频进行对齐，得到音频对齐结果，包括：

6.根据权利要求1所述的方法，其特征在于，基于所述第一参考帧与所述第二参考帧之间的音频特征关联，以位于所述丢包帧之前且与所述丢包帧相邻的在前目标帧为基准，对所述丢包帧进行数据恢复，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种音频丢包数据恢复装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至7任一项所述的方法。

技术总结本申请提供了一种音频丢包数据恢复方法、装置、电子设备及存储介质，该方法包括：将目标音频和所述目标音频的参考音频进行对齐，得到音频对齐结果，其中，所述目标音频存在数据缺失的丢包帧；根据所述目标音频的丢包帧位置和所述音频对齐结果，获取所述参考音频中对应于所述丢包帧位置的第一参考帧，并获取位于所述第一参考帧之前且与所述第一参考帧相邻的第二参考帧；基于所述第一参考帧与所述第二参考帧之间的音频特征关联，以位于所述丢包帧之前且与所述丢包帧相邻的在前目标帧为基准，对所述丢包帧进行数据恢复。本申请实施例能够同时满足音频丢包数据恢复的准确性要求和低时延要求。技术研发人员：梁俊斌受保护的技术使用者：腾讯科技（深圳）有限公司技术研发日：技术公布日：2024/3/11