一种非线性回声消除方法及装置与流程

本发明涉及语音通信，特别是涉及一种非线性回声消除方法及装置。

背景技术：

1、随着互联网即时通讯技术的快速发展，近年来会议系统的应用成为远程工作不可或缺的一部分。系统须确保良好的通话质量才能为用户提供高效且愉快的使用体验。

2、其中，通话过程中出现漏回声而引起的问题是影响用户体验的主要来源之一。传统的线性回声消除算法采用自适应滤波对回声路径脉冲响应进行模拟，但是随着小型低成本设备在视频会议中的广泛使用，这些设备中的放大器或者扬声器使得回声路径带有明显非线性特征。导致传统的自适应滤波器无法消除这种非线性回声，且回声路径的非线性也会限制线性自适应滤波器的性能，干扰回声脉冲响应的最佳估计，导致语音信号的感知质量下降。

3、为解决上述问题，通过采用配合自带回声处理能力的拾音硬件设备来提高回声消除的质量。传统的非线性回声消除算法，主要是依赖自适应线性滤波器计算得到残余回声估计，并通过信回比等指标获得非线性回声抑制因子。但由于不同设备厂家回声算法性能参差不齐，导致经过部分设备自带回声消除算法处理后的回声信号只残留部分非线性回声特征。此时自适应线性滤波器将失效，无法获取正确的残余回声估计，导致非线性回声抑制模块无法计算正确的抑制因子。

4、现有技术中也有方法基于深度学习实现非线性回声抑制。通过依靠深度学习模型强大的特征学习能力，通过精心设计的训练数据集完成对非线性回声的抑制。但基于深度学习的非线性回声抑制模型依赖于特定的训练数据集泛化性能差。使用经过人工精心收集和设计训练数据，并依靠深度学习强大的特征学习能力，虽然能解决某款拾音设备导致所残留的非线性回声问题。但是，该方案为采集大量的特定训练数据集，需要耗费大量的人力物力；同时，由于其需要收集特定的、与回声相关的数据，而对于回声场景的数据集较为稀缺，导致方案普适性较差。此外，基于深度学习的非线性回声抑制一般都需要较为复杂的模型，确保在对非线性回声抑制的同时不损伤正常的语音。因此，模型往往需要较高的性能开销，导致很多中低端设备上无法正常使用。

技术实现思路

1、本发明所要解决的技术问题是：提供一种非线性回声消除方法及装置，解决拾音设备扬声器导致的非线性回声以及设备自带回声算法性能不佳导致部分非线性回声残留的问题。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种非线性回声消除方法，包括：

4、接收近端语音信号以及远端语音信息，生成音频信号；

5、基于深度学习语音状态鉴别模型计算所述音频信号对应的语音概率值；

6、基于线性自适应滤波器计算所述音频信号对应的残余回声能量；

7、将所述音频信号划分为不同的子带信号，并分别计算所述子带信号的能量值得到子带信号能量比；

8、根据所述语音概率值以及子带信号能量比遍历判断所述音频信号中的每一帧语音信号是否存在非线性回声，若是，则获取目标帧语音信号前预设帧数的语音信号的信号能量均值作为残余回声能量估计值；

9、根据所述残余回声能量估计值修正所述残余回声能量，并根据修正的所述残余回声能量计算得到非线性回声抑制因子；

10、根据所述非线性回声抑制因子对所述音频信号进行滤波，并输出滤波音频。

11、为了解决上述技术问题，本发明采用的另一技术方案为：

12、一种非线性回声消除装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种非线性回声消除方法中的各个步骤。

13、本发明的有益效果在于：通过将深度学习语音状态鉴别模型与自适应滤波器相结合对非线性回声消除，当基于语音概率值以及子带信号能量比判断音频信号中存在非线性回声后，再通过残余回声能量估计值修正残余回声能量并计算得到非线性回声抑制因子，实现对音频信号的滤波，解决拾音设备扬声器导致的非线性回声以及设备自带回声算法性能不佳导致部分非线性回声残留的问题，从而提升用户的通话体验。

技术特征：

1.一种非线性回声消除方法，其特征在于，包括：

2.根据权利要求1所述的一种非线性回声消除方法，其特征在于，所述基于深度学习语音状态鉴别模型计算所述音频信号对应的语音概率值包括：

3.根据权利要求1所述的一种非线性回声消除方法，其特征在于，所述基于线性自适应滤波器计算所述音频信号对应的残余回声能量包括：

4.根据权利要求3所述的一种非线性回声消除方法，其特征在于，所述根据所述线性回声估计值以及频域信号得到所述残余回声能量包括：

5.根据权利要求4所述的一种非线性回声消除方法，其特征在于，所述根据所述误差信号、误差信号功率谱密度、频域信号功率谱密度以及互功率谱密度得到所述残余回声能量包括：

6.根据权利要求1所述的一种非线性回声消除方法，其特征在于，所述将所述音频信号划分为不同的子带信号，并分别计算所述子带信号的能量值得到子带信号能量比包括：

7.根据权利要求1所述的一种非线性回声消除方法，其特征在于，所述根据修正的所述残余回声能量计算得到非线性回声抑制因子包括：

8.根据权利要求1所述的一种非线性回声消除方法，其特征在于，所述根据所述语音概率值以及子带信号能量比遍历判断所述音频信号中的每一帧语音信号是否存在非线性回声包括：

9.根据权利要求1所述的一种非线性回声消除方法，其特征在于，所述获取目标帧语音信号前预设帧数的语音信号的信号能量均值作为残余回声能量估计值包括：

10.一种非线性回声消除装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述的一种非线性回声消除方法中的各个步骤。

技术总结本发明公开一种非线性回声消除方法及装置，通过接收近端语音信号以及远端语音信息生成音频信号后，将深度学习语音状态鉴别模型计算音频信号对应的语音概率值与自适应滤波器计算音频信号对应的残余回声能量相结合对非线性回声消除，以及将音频信号划分为不同的子带信号，并分别计算子带信号的能量值得到子带信号能量比，当根据语音概率值以及子带信号能量比遍历判断音频信号中存在非线性回声时，根据残余回声能量估计值修正所述残余回声能量，并根据修正的所述残余回声能量计算得到非线性回声抑制因子，实现对音频信号的滤波，解决拾音设备扬声器导致的非线性回声以及设备自带回声算法性能不佳导致部分非线性回声的残留问题，从而提升通话体验。技术研发人员：刘德建,钟诗俊,陈明宇,何龙翔,陈宏受保护的技术使用者：福建天泉教育科技有限公司技术研发日：技术公布日：2024/3/5