音频升采样方法、装置、设备及存储介质与流程

本发明涉及音频处理领域，尤其涉及一种音频升采样方法、装置、设备及存储介质。

背景技术：

1、传统算法里，降采样主要是通过信号的抽取来实现，比如等间隔的去抽取原始信号，影响比较大的是频谱扩展，由于信号是离散的，dtft（离散时间傅里叶变换）的频谱是周期的，在平移相加时会产生混叠，为了去除掉混叠的影响需要在抽取之前先做低通滤波，提前滤除掉高频后再进行抽取。升采样主要通过信号的插值来实现，按目标采样率等间隔的插入邻近信号近似值。插值后的信号进行了频谱的压缩，根据圆周卷积理论，低频会镜像为多余的高频，因此需要插零后再做低通滤波把多余的镜像频率滤除掉。众所周知任意连续函数可以被任意均匀的多项式或三角多项式表示。逼近的精度可以用泰勒级数和原函数的高阶函数来估计。所以理论上可以选择合适的多项式和三角多项式作为音频重采样的插入函数。

2、因为降采样是降低采样率，减少有效频带范围，所以音质必然是会损失的，传统的降采样算法已可以满足应用需求，但是传统升采样算法其经插值后的信号有效频带只是无限接近原始信号的频带，这样音质本身没有任何提升，只是采样率做了个变换。可理解为传统升采样算法不能丰富扩充后频宽范围的频带信息。尤其是现在数字音频处理器上经过一些深度学习的算法后，其音质一直被局限在16khz，不能很好的还原音质，尤其是专业音频领域，低采样率极大的限制了他的应用场景，也导致在推广相关专业音频产品时屡屡受阻。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种音频升采样方法、装置、设备及存储介质，旨在解决现有技术升采样不能还原音质的技术问题。

2、为实现上述目的，本发明提供了一种音频升采样方法，所述方法包括：

3、获取音频信号；

4、将所述音频信号进行特征提取，得到所述音频信号的均方根能量值、等效矩形带宽特征以及频谱特征；

5、将所述均方根能量值、所述等效矩形带宽特征以及所述频谱特征分别作为输入链路，输入升采样模型中进行处理，得到升采样后的音频信号。

6、可选地，所述将所述音频信号进行特征提取，得到所述音频信号的均方根能量值、等效矩形带宽特征以及频谱特征，包括：

7、根据所述音频信号的频率，得到等效矩形带宽增益因子；

8、根据所述等效矩形带宽增益因子，得到等效矩形带宽；

9、根据所述等效矩形带宽，得到所述等效矩形带宽特征；

10、将所述音频信号进行特征提取，得到所述音频信号的均方根能量值和所述频谱特征。

11、可选地，所述将所述音频信号进行特征提取，得到所述音频信号的均方根能量值、等效矩形带宽特征以及频谱特征之后，还包括：

12、根据所述音频信号增益，得到信噪比；

13、根据等效矩形带宽的子带中心频率和所述音频信号的采样率，得到预设关键频率点；

14、根据所述预设关键频率点和所述音频信号的品质因子，得到衰减因子；

15、根据所述信噪比选择预设低通滤波器和预设高通滤波器；

16、根据所述预设关键频率点和所述衰减因子，得到所述预设低通滤波器的系数和所述预设高通滤波器的系数；

17、根据所述预设低通滤波器的系数、所述预设高通滤波器的系数以及所述音频信号的频率，得到所述预设低通滤波器的传输函数和所述预设高通滤波器的传输函数；

18、根据所述预设低通滤波器的传输函数和所述预设高通滤波器的传输函数，得到目标低通滤波器和目标高通滤波器；

19、通过目标低通滤波器和目标高通滤波器，得到等效矩形带宽特征的对应值；

20、将所述均方根能量值、所述等效矩形带宽特征的对应值以及所述频谱特征，输入升采样模型中进行处理，得到升采样后的音频信号。

21、可选地，所述将所述均方根能量值、所述等效矩形带宽特征以及所述频谱特征分别作为输入链路，输入升采样模型中进行处理，得到升采样后的音频信号之前，还包括：

22、获取训练集中的高采样率音频数据；

23、将所述高采样率音频数据通过降采样算法进行处理，得到目标低采样率音频数据；

24、将所述高采样率音频数据和所述目标低采样率音频数据，输入预设升采样模型中，得到脉冲码调制值；

25、根据所述高采样率音频数据、所述脉冲码调制值以及所述目标低采样率音频数据的采样总次数，得到脉冲码调制相似度；

26、获取原采样率范围的频谱包络相似度；

27、获取扩充频谱范围的包络相似度；

28、根据所述脉冲码调制相似度、所述频谱包络相似度、所述包络相似度以及微调损失权重参数，得到综合损失函数；

29、根据所述预设升采样模型和所述综合损失函数，得到所述升采样模型。

30、可选地，所述获取原采样率范围的频谱包络相似度，包括：

31、根据所述脉冲码调制值的频谱包络和所述高采样率音频数据的频谱包络，得到所述原采样率范围的频谱包络相似度。

32、可选地，所述获取扩充频谱范围的包络相似度，包括：

33、根据所述脉冲码调制值的扩充频谱包络和所述高采样率音频数据的扩充频谱包络，得到所述扩充频谱范围的包络相似度。

34、可选地，所述将所述均方根能量值、所述等效矩形带宽特征以及所述频谱特征分别作为输入链路，输入升采样模型中进行处理，得到升采样后的音频信号，包括：

35、将所述均方根能量值、所述等效矩形带宽特征以及所述频谱特征分别作为输入链路，输入所述升采样模型的编码层中，并将所述编码层的输出分割为两部分，得到第一部分和第二部分；

36、将所述第一部分输入所述升采样模型的等效矩形带宽解码层中，得到扩充后的等效矩形带宽增益；

37、将所述第二部分输入所述升采样模型的高频带解码层中，得到扩充高频段的频谱特征参数；

38、根据所述扩充后的等效矩形带宽增益和所述扩充高频段的频谱特征参数，得到全频带的复数域特征；

39、将所述全频带的复数域特征进行傅里叶逆变换处理，得到所述升采样后的音频信号。

40、此外，为实现上述目的，本发明还提出一种音频升采样装置，所述音频升采样装置包括：

41、获取模块，用于获取音频信号；

42、提取模块，用于将所述音频信号进行特征提取，得到所述音频信号的均方根能量值、等效矩形带宽特征以及频谱特征；

43、处理模块，用于将所述均方根能量值、所述等效矩形带宽特征以及所述频谱特征分别作为输入链路，输入升采样模型中进行处理，得到升采样后的音频信号。

44、此外，为实现上述目的，本发明还提出一种音频升采样设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频升采样程序，所述音频升采样程序配置为实现如上文所述的音频升采样方法的步骤。

45、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有音频升采样程序，所述音频升采样程序被处理器执行时实现如上文所述的音频升采样方法的步骤。

46、本发明提出的一种音频升采样方法、装置、设备及存储介质，该方法包括：获取音频信号；将所述音频信号进行特征提取，得到所述音频信号的均方根能量值、等效矩形带宽特征以及频谱特征；将所述均方根能量值、所述等效矩形带宽特征以及所述频谱特征分别作为输入链路，输入升采样模型中进行处理，得到升采样后的音频信号。将更低的采样率升到更高的采样率时，为了更好的还原音频信号，本发明不但引入了音频信号的能量，还汇入了音频的erb特征和复数域特征，将它们输入到升采样模型中，以二阶段多目标的方式训练音频信号的erb增益因子和高频带的参数，恢复高频信号的复数域参数，进一步提高了音频信号质量。