一种回声消除方法、装置、设备和存储介质与流程

本公开实施例涉及计算机技术，尤其涉及一种回声消除方法、装置、设备和存储介质。

背景技术：

1、在实时音视频通信等领域中，声回声消除(acoustic echo cancellation，aec)是音频信号处理的重要环节。声回声产生的原因是音频输出设备和音频采集设备之间存在声学耦合，这使得音频输出设备发出的声音又被音频采集设备采集到形成回声。回声的存在严重影响了语音的清晰度及通话质量。目前，现有的回声消除方式在压制回声信号的同时会损坏近端语音，无法兼顾回声压制和近端语音的保护。

技术实现思路

1、本公开提供一种回声消除方法、装置、设备和存储介质，以提高卡尔曼滤波器的鲁棒性，在保护近端语音的基础上保证回声消除效果。

2、第一方面，本公开实施例提供了一种回声消除方法，包括：

3、获取音频采集设备采集到的第一音频信号和音频输出设备输出的第二音频信号，其中，所述第一音频信号包括近端音频信号和远端音频信号，所述远端音频信号是所述第二音频信号通过回声路径传递的回声信号；

4、对所述第一音频信号进行变换，获得每个时间窗口内的每个频率对应的采集信号，并对所述第二音频信号进行变换，获得每个时间窗口内的每个频率对应的参考信号；

5、基于卡尔曼滤波器、每个时间窗口内的每个频率对应的采集信号和参考信息进行回声消除，确定回声消除后的每个时间窗口内的每个频率对应的目标信号，其中，所述卡尔曼滤波器中的优化函数是基于后验状态失调协方差、回声路径传递函数变化量和所述回声路径传递函数变化量对应的约束权重确定的，所述回声路径传递函数变化量是基于误差信号方差和卡尔曼增益确定的，所述约束权重是基于近端信号方差和频率确定的；

6、对每个时间窗口内的每个频率对应的目标信号进行逆变换，获得所述第一音频信号回声消除后的目标音频信号。

7、第二方面，本公开实施例还提供了一种回声消除装置，包括：

8、音频信号获取模块，用于获取音频采集设备采集到的第一音频信号和音频输出设备输出的第二音频信号，其中，所述第一音频信号包括近端音频信号和远端音频信号，所述远端音频信号是所述第二音频信号通过回声路径传递的回声信号；

9、音频信号变换模块，用于对所述第一音频信号进行变换，获得每个时间窗口内的每个频率对应的采集信号，并对所述第二音频信号进行变换，获得每个时间窗口内的每个频率对应的参考信号；

10、回声消除模块，用于基于卡尔曼滤波器、每个时间窗口内的每个频率对应的采集信号和参考信息进行回声消除，确定回声消除后的每个时间窗口内的每个频率对应的目标信号，其中，所述卡尔曼滤波器中的优化函数是基于后验状态失调协方差、回声路径传递函数变化量和所述回声路径传递函数变化量对应的约束权重确定的，所述回声路径传递函数变化量是基于误差信号方差和卡尔曼增益确定的，所述约束权重是基于近端信号方差和频率确定的；

11、目标信号逆变换模块，对每个时间窗口内的每个频率对应的目标信号进行逆变换，获得所述第一音频信号回声消除后的目标音频信号。

12、第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的回声消除方法。

16、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的回声消除方法。

17、本公开实施例，通过对音频采集设备采集到的第一音频信号进行变换，获得每个时间窗口内的每个频率对应的采集信号，并音频输出设备输出的第二音频信号进行变换，获得每个时间窗口内的每个频率对应的参考信号；基于卡尔曼滤波器、每个时间窗口内的每个频率对应的采集信号和参考信息进行回声消除，确定回声消除后的每个时间窗口内的每个频率对应的目标信号，并对每个时间窗口内的每个频率对应的目标信号进行逆变换，获得第一音频信号回声消除后的目标音频信号。由于在卡尔曼滤波器的优化函数中增加了回声路径传递函数变化量这个惩罚项，并且该回声路径传递函数变化量是基于误差信号方差和卡尔曼增益确定的，从而可以对卡尔曼增益进行加权约束，提升卡尔曼滤波器对近端语音的保护效果，并且通过基于近端信号方差和频率确定约束权重，从而实现卡尔曼增益的自适应约束，在保护近端语音的基础上保证了回声消除效果，提高了卡尔曼滤波器的鲁棒性。

技术特征：

1.一种回声消除方法，其特征在于，包括：

2.根据权利要求1所述的回声消除方法，其特征在于，所述基于卡尔曼滤波器、每个时间窗口内的每个频率对应的采集信号和参考信息进行回声消除，确定回声消除后的每个时间窗口内的每个频率对应的目标信号，包括：

3.根据权利要求2所述的回声消除方法，其特征在于，所述基于当前时间窗口内的当前频率对应的当前误差信号、当前参考信号、当前误差信号与当前参考信号之间的当前相关系数、当前误差信号方差和当前参考信号方差，确定当前时间窗口内的当前频率对应的当前近端信号方差，包括：

4.根据权利要求2所述的回声消除方法，其特征在于，所述基于所述当前近端信号方差和当前频率，确定当前时间窗口内的当前频率对应的当前约束权重，包括：

5.根据权利要求2所述的回声消除方法，其特征在于，所述基于上个时间窗口内的当前频率对应的上个滤波器扰动方差和上个后验状态失调协方差，确定当前时间窗口内的当前频率对应的当前先验状态失调协方差，包括：

6.根据权利要求5所述的回声消除方法，其特征在于，所述基于所述估计残余回声信号方差和所述当前近端信号方差，确定估计残差信号方差，包括：

7.根据权利要求2所述的回声消除方法，其特征在于，所述基于所述当前先验状态失调协方差、所述当前参考信号、所述当前近端信号方差、所述当前约束权重和当前误差信号方差，确定当前时间窗口内的当前频率对应的当前卡尔曼增益，包括：

8.根据权利要求2所述的回声消除方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的回声消除方法，其特征在于，所述基于所述当前先验状态失调协方差、所述当前参考信号、所述当前卡尔曼增益、所述当前约束权重和当前误差信号方差，确定当前时间窗口内的当前频率对应的当前后验状态失调协方差，包括：

10.一种回声消除装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述电子设备包括：

12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的回声消除方法。

技术总结本公开实施例提供了一种回声消除方法、装置、设备和存储介质。该方法包括：获取音频采集设备采集到的第一音频信号和音频输出设备输出的第二音频信号；分别对第一音频信号和第二音频信号进行变换，获得采集信号和参考信号；基于卡尔曼滤波器、采集信号和参考信息，确定回声消除后的目标信号，卡尔曼滤波器中的优化函数是基于后验状态失调协方差、回声路径传递函数变化量和约束权重确定的，回声路径传递函数变化量是基于误差信号方差和卡尔曼增益确定的，约束权重是基于近端信号方差和频率确定的；对目标信号进行逆变换，获得回声消除后的目标音频信号。该方法提高了卡尔曼滤波器的鲁棒性，在保护近端语音的基础上保证回声消除效果。技术研发人员：周朝辉,唐邦友,张聪鑫,王鹏,高华,肖益剑受保护的技术使用者：北京字跳网络技术有限公司技术研发日：技术公布日：2024/6/5