内置DSP及音频算法的音频编解码系统及音频编解码器的制作方法

本发明涉及音频数据处理领域，特别是涉及一种内置dsp及音频算法的音频编解码系统及音频编解码器。

背景技术：

1、随着社会的进步，生活质量的提高，人们对音频产品的质量要求越来越高，传统的音频设备处理能力已经不能满足新生代的耳膜要求。

2、为了解决这样的问题，高性能音频编解码器以及高性能dsp产品，在近些年得到了快速发展，以满足日益增长的市场需求。首先，随着芯片制造工艺的发展，同样面积的音频编解码器或者dsp中，先进工艺可以放的下更多的处理模块，以提高音频信号的处理性能，同时先进工艺支持更低的电压，因此芯片功耗也随之降低。其次，随着音频算法的发展演进，现在的算法具有更好的性能及更小的算力，更容易集成到音频编解码器或者dsp中。

3、优秀的的音频效果离不开高性能的音频编解码器和高性能dsp的配合，音频编解码器提供低延时的数据处理单元，dsp运行需要灵活多变或者复杂的音频算法。

4、目前主流的方案分为二类：方案一：在主处理器内置dsp的架构；方案二：在音频编解码器外挂dsp的架构。

5、如图1，为方案一的架构图，该方案好处主要是，将dsp内置于主处理器中，编解码器架构简单，可选择范围性大，兼容性好。但该方案也有以下缺点：

6、1.信号处理链路延迟大，部分算法响应不及时，会降低算法性能；

7、2.大量音频数据通过数据接口传输，接口的带宽限制时，业务会产生冲突；

8、3.主处理器负担加重，面积增大，功耗增加，成本增大；

9、4.dsp选择灵活性不高，dsp算法能力取决于主处理器综合考虑的约束。

10、如图2，为方案二的架构图，相比方案一的架构，方案二将dsp外挂于codec上，该方案解决了方案一的部分问题，比如减轻了主处理器负担，让其更专注于主控功能的性能提升，也，减小主处理器的成本和面积，同时外挂dsp的选择灵活性大，通用性强，也是目前市面上用的最多的方案。但该方案也有以下缺点：

11、1.外购dsp较贵，外围器件增加，总成本增加；

12、2.同样也会有芯片间接口传输带宽限制约束；

13、3.无法和音频编解码器完美的兼容，存在性能的损失或资源的浪费；

14、4.目前市面上dsp内置的成熟算法比较少，应用场景有限。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种内置dsp及音频算法的音频编解码系统，用于解决以上现有技术问题。

2、为实现上述目的及其他相关目的，本发明提供一种内置dsp及音频算法的音频编解码系统，所述系统包括：音频输入模块、内置dsp的音频编解码器、主处理器、数据接口、音频输出模块；其中，内置dsp的音频编解码器分别与音频输入模块、主处理器、数据接口以及音频输出装置通信连接；所述音频输入模块，用于从外部获取音频流；所述内置dsp的音频编解码器，用于基于音频算法，对输入的音频流进行编码或解码处理；所述主处理器，用于通过所述数据接口接收并处理经所述内置dsp的音频编解码器处理的音频流和/或将音频流输入至所述内置dsp的音频编解码器进行处理；所述音频输出模块，用于将经所述内置dsp的音频编解码器处理的音频流以声波信号形式输出至外部。

3、于本发明的一实施例中，所述内置dsp的音频编解码器包括：上行传输通路、下行传输通路、dsp处理单元以及数据搬运单元；其中，所述上行传输通路包括：至少一路上行通道，用于通过上行通道对由所述音频输入模块从外部获取的音频流进行单通道或多通道的上行传输；所述下行传输通路包括：至少一路下行通道，用于对经所述音频编解码器处理的音频流进行单通道或多通道的下行传输，以供由所述音频输出模块向外部输出；数据搬运单元，连接所述上行传输通路、下行传输通路以及dsp处理单元，用于将上行传输的音频流搬运至所述dsp处理单元进行处理；和/或，将所述dsp处理单元处理后的音频流搬运至下行传输通路进行下行传输；dsp处理单元，用于基于音频算法，对输入的音频流进行处理，以供通过数据接口将处理后的音频流传输至主处理器或通过所述数据搬运单元搬运至下行传输通路输出。

4、于本发明的一实施例中，所述上行通道包括：模数转换单元，用于将对应通道输入的模拟信号形式的音频流转换为数字音频流；第一数据匹配单元，连接所述模数转换单元，用于将转换的数字音频流进行第一数据匹配，获得经过第一数据匹配的音频流；其中，第一数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；第一数据缓存单元，连接所述数据匹配单元，用于缓存经过第一数据匹配的音频流，以供数据搬运单元将数据搬运至所述dsp处理单元；所述下行通道，包括：第二数据缓存单元，用于缓存来自所述数据搬运单元的音频流；第二数据匹配单元，连接所述第二数据缓存单元，用于将音频流进行第二数据匹配，获得经过第二数据匹配的音频流；其中，第二数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；数模转换单元，连接所述第二数据匹配单元，用于将经过第二数据匹配的音频流转换为模拟音频流，以供所述音频输出模块以声波信号形式通过对应通道输出至外部。

5、于本发明的一实施例中，所述dsp处理单元包括：内部缓存单元以及与所述内部缓存单元连接的算法处理单元；内部缓存单元，用于储存来自数据搬运单元和/或主处理器的音频流，以供发送至算法处理单元进行处理；和/或储存由所述算法处理单元处理后的音频流，以供所述数据搬运单元将其搬运至下行传输通路输出；算法处理单元，用于基于音频算法，对来自所述内部缓存单元的音频流进行处理，并将处理后的音频流发送至所述内部缓存单元进行储存。

6、于本发明的一实施例中，所述基于音频算法，对来自所述内部缓存单元的音频流进行处理包括：对输入的音频流进行短时傅里叶变换；将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计；对经过短时傅里叶变换的音频流进行噪声抑制；对经过噪声抑制的音频流进行自动增益控制；对自动增益控制后的音频流进行短时傅里叶反变换；基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除，以供将经过回声消除后的音频流发送至所述内部缓存单元进行储存。

7、于本发明的一实施例中，将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计包括：根据经过短时傅里叶变换的音频流依次对每帧音频信号的语音活动检测以及噪声估计，以获得各帧音频信号所对应的语音存在概率以及噪声估计值；其中，对每帧音频信号的语音活动检测以及噪声估计的方式包括：将上一次计算获得的当前帧音频信号的噪声估计值进行迭代更新，并初次计算当前帧音频信号的语音存在概率；基于初次计算的当前帧音频信号的语音存在概率，计算下一帧当前帧音频信号的噪声估计值；二次计算当前帧音频信号的语音存在概率。

8、于本发明的一实施例中，对经过噪声抑制的音频流进行自动增益控制包括：根据经过噪声抑制的音频流计算瞬时幅度以及平均幅度；基于计算的平均幅度计算应用到对应音频流的增益数据；对计算增益数据进行平滑处理，并将平滑处理后的增益数据与经过噪声抑制的音频流结合，获得自动增益控制后的音频流。

9、于本发明的一实施例中，基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除包括：对经过短时傅里叶反变换的音频流以及同步输入的参考音频流利用多频段分析滤波器组分别进行相同子带分解，以获得对应各子带的输入音频流子带数据以及参考音频流子带数据；根据各子带所对应的的输入音频流子带数据以及参考音频流子带数据对每个子带进行回声估计以及误差计算，并进行权重更新，以获得更新后的各子带；将更新后的各子带合成为完整的宽带信号，以获得经过回声消除后的音频流。

10、于本发明的一实施例中，所述音频编解码系统还包括：控制接口，用于所述主处理器向所述内置dsp的音频编解码器发送控制指令以及所述内置dsp的音频编解码器向所述主处理器实时反馈状态信息；外部存储单元，连接所述内置dsp的音频编解码器。

11、为实现上述目的及其他相关目的，本发明提供一种音频编解码器所述音频编解码器包括：上行传输通路、下行传输通路、dsp处理单元以及数据搬运单元；其中，所述数据搬运单元连接所述上行传输通路、下行传输通路以及dsp处理单元；所述上行传输通路，用于对从外部获取的音频流进行单通道或多通道的上行传输；所述下行传输通路，用于对经所述dsp处理单元处理的音频流进行单通道或多通道的下行传输，以供向外部输出；所述数据搬运单元，用于将上行传输的音频流搬运至所述dsp处理单元进行处理；和/或，将所述dsp处理单元处理后的音频流搬运至下行传输通路进行下行传输；所述dsp处理单元，用于基于音频算法，对输入的音频流进行处理，以供将处理后的音频流传输至所述主处理器或通过所述数据搬运单元搬运至下行传输通路输出。

12、如上所述，本发明是一种内置dsp及音频算法的音频编解码系统及音频编解码器，具有以下有益效果：本发明的音频编解码系统将dsp内置于音频编解码器中，基于音频算法对输入的音频流进行编码或解码处理。本发明将dsp内置于音频编解码器中，dsp与编解码器为单一芯片，因此外围器件少，系统成本低；并且释放主处理器的算力压力，使得主处理器将核的性能专注于提升主控性能，且算法已经基于dsp进行过特定优化，整体的运算效率高以及部署成本低；并且无芯片间接口交互带宽约束，内部数据访问速度更快，效率更高，有益于提升部分算法性能；另外，能合理的匹配音频编解码的设计，使得资源充分利用，不会损失性能。