一种音频处理方法、装置、存储介质及电子设备与流程

本公开实施例涉及音频处理技术，尤其涉及一种音频处理方法、装置、存储介质及电子设备。

背景技术：

1、实时通信成为现代社会的常用通信方法，音频通信是实时通信的一种重要通信方式。

2、在音频的采集和传输过程中，存在多种因素导致音频失真，降低音频质量。其中，噪声是导致音频失真的一种重要因素，目前可通过降噪模型对音频进行降噪处理，以减少噪声对音频质量的影响。但是，噪声仅为音频失真的一种影响因素，对音频进行降噪处理无法全面修复失真音频。

技术实现思路

1、本公开提供一种音频处理方法、装置、存储介质及电子设备，通过两个修复阶段对待处理音频数据进行全面修复，提高音频修复效果。

2、第一方面，本公开实施例提供了一种音频处理方法，包括：

3、获取待处理音频，基于第一处理模型对所述待处理音频进行第一类型失真的修复，得到第一修复音频；

4、基于第二处理模型对所述第一修复音频进行第二类型失真的修复，得到第二修复音频。

5、第二方面，本公开实施例还提供了一种音频处理装置，包括：

6、第一修复模块，用于获取待处理音频，基于第一处理模型对所述待处理音频进行第一类型失真的修复，得到第一修复音频；

7、第二修复模块，用于基于第二处理模型对所述第一修复音频进行第二类型失真的修复，得到第二修复音频。

8、第三方面，本公开实施例还提供了一种电子设备，其特征在于，所述电子设备包括：

9、一个或多个处理器；

10、存储装置，用于存储一个或多个程序，

11、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任意实施例提供的音频处理方法。

12、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开任意实施例提供的音频处理方法。

13、本公开实施例，通过第一处理模型对待处理音频进行第一类型失真的修复，以及通过第二处理模型对第一处理模型输出的第一修复音频进行第二类型失真的修复，得到修复后音频。通过两个阶段的修复过程，对待处理音频进行全面性的失真修复，提高音频质量。同时，在两个阶段分别用不同的处理模型分别进行第一类型失真的修复和第二类型失真的修复，降低一次性修复难度，在提高音频质量的基础上，降低模型开发成本。

技术特征：

1.一种音频处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一处理模型包括时域修复模型和频域修复模型；所述时域修复模型用于对所述待处理音频的第一频带进行第一类型失真的修复；所述频域修复模型用于对所述待处理音频的第二频带进行第一类型失真的修复。

3.根据权利要求2所述的方法，其特征在于，所述时域修复模型和/或频域修复模型的至少局部网络层设置密集连接。

4.根据权利要求1所述的方法，其特征在于，所述第二处理模型包括编码模块、时序建模模块、幅值解码模块和相位解码模块；其中，所述幅值解码模块用于预测所述第二修复音频的幅值谱；所述相位解码模块用于预测所述第二修复音频的相位谱。

5.根据权利要求1-4任一所述的方法，其特征在于，所述第一类型失真为缺失性失真，第二类型失真为加性失真。

6.根据权利要求1所述的方法，其特征在于，所述第一处理模型和所述第二处理模型的训练方法，包括：

7.根据权利要求6所述方法，其特征在于，所述第一处理模型或所述第二处理模型的训练过程包括：

8.根据权利要求7所述的方法，其特征在于，所述判别损失函数的生成过程包括：基于多种判别器对所述第一预测修复音频和/或所述第二预测修复音频进行判别，得到多种所述判别器的判别结果，并基于多种所述判别器的判别结果得到多种判别损失函数；

9.一种音频处理装置，其特征在于，包括：

10.一种电子设备，其特征在于，所述电子设备包括：

11.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的音频处理方法。

技术总结本公开实施例提供了一种音频处理方法、装置、存储介质及电子设备。其中方法包括：获取待处理音频，基于第一处理模型对所述待处理音频进行第一类型失真的修复，得到第一修复音频；基于第二处理模型对所述第一修复音频进行第二类型失真的修复，得到第二修复音频。通过两个阶段的修复过程，对待处理音频进行全面性的失真修复，提高音频质量。同时，在两个阶段分别用不同的处理模型分别进行第一类型失真的修复和第二类型失真的修复，降低一次性修复难度，在提高音频质量的基础上，降低模型开发成本。技术研发人员：夏咸军,刘铭帅,肖益剑受保护的技术使用者：北京字跳网络技术有限公司技术研发日：技术公布日：2024/2/29