回声消除方法、装置、电子设备及存储介质与流程

本申请属于通信传输，具体涉及一种回声消除方法、装置、电子设备及存储介质。

背景技术：

1、声学领域中，技术术语“回声”指的是声音在传输过程中因为遇到障碍物或界面反射回原始信号源的现象。在通信系统中，从扬声器到麦克风的声学反馈产生的回声会严重降低通话质量。

2、相关技术中通常自适应滤波器来解决，采用自适应滤波器仍然存在着诸多问题，例如这个方法在资源受限的边缘性设备上不但在实时性上存在挑战，无法迅速适应环境变化，导致效果下降，而且高级算法可能需要较大计算资源，使得在资源受限设备上运行效率降低。

技术实现思路

1、鉴于此，本申请的目的在于提供一种回声消除方法、装置、电子设备及存储介质，以提升了回声消除效果，提高回声消除的实时性。

2、第一方面，本申请实施例提供了一种回声消除方法，所述方法包括：对接收的音频信号进行变换，得到频域信号；将所述频域信号输入预设的神经网络模型，获取所述神经网络模型输出的卡尔曼滤波参数；使用所述卡尔曼滤波参数及预设的卡尔曼滤波模型对所述频域信号进行处理，得到处理信号；将所述处理信号转换为处理音频信号。

3、上述回声消除方法，通过神经网络模型对卡尔曼滤波模型的参数进行预测，利用预测的参数和卡尔曼滤波模型对语音数据进行回声消除，有效提升了回声消除效果，对于回声路径有变化的环境的响应更为及时并且具有更强的鲁棒性。此外，本申请的方法计算复杂度低，实时性高。

4、在本申请一个可选实施例中，所述神经网络模型通过训练预设的基础模型得到，所述训练中至少一个训练样本中标记数据为包括环境噪音的音频信号。

5、上述实施例中，训练数据中至少一个训练样本中标记数据为包括环境噪音的音频信号，从而使得卡尔曼滤波模型在消除回声的同时，能有效的保留并放大环境声，从而满足用户个性化的需求。

6、在本申请一个可选实施例中，所述训练的数据集包括第一训练集和第二训练集；所述第一训练集为单向通话数据，所述第一训练集用于所述基础模型的前一半训练过程；所述第二训练集为双向通话数据，所述第二训练集用于所述基础模型的后一半训练过程。

7、上述实施例中，使用单向通话的数据集训练到一半后，再使用双向通话数据集进行训练，会极高的提升回声消除的性能表现。

8、在本申请一个可选实施例中，所述第一训练集中每一样本中特征数据为麦克风数据，标签数据为近端语音，所述麦克风数据为对远端语音和所述近端语音进行接收得到的数据，所述远端语音为扬声器发出的声音，所述近端语音为用户讲话的语音，第一训练集中的近端语音为零。

9、在本申请一个可选实施例中，所述第二训练集中每一样本中特征数据为麦克风数据，标签数据为近端语音和环境噪音，所述麦克风数据为对所述近端语音、远端语音及所述环境噪音进行接收得到的数据，所述近端语音为用户讲话的语音，所述远端语音为扬声器发出的声音，所述环境噪音为对所述用户指定的环境音进行调整得到的。

10、在本申请一个可选实施例中，所述环境噪音的相位、幅值、频率均与所述近端语音相似。

11、上述实施例中，通过将环境噪音的相位、幅值、频率中均调整为与近端语音相似，可以让模型将环境噪音认为其是近端语音相似的语音，更好的实现环境噪音的保留。

12、在本申请一个可选实施例中，所述基础模型训练的损失函数为信号差和权重值之和，所述信号差为所述近端语音与所述卡尔曼滤波模型的输出信号之差，所述权重值基于回声权重、幅值及相位值得到，所述回声权重依据噪声在所述麦克风数据中的占比，所述幅值为所述卡尔曼滤波模型的输出信号的幅值与所述近端语音的幅值之差，所述相位为所述卡尔曼滤波模型的输出信号的相位与所述近端语音的相位之差。

13、上述实施例中，通过设置的损失函数，使得得到模型输出的卡尔曼滤波模型的参数，能够更好的抑制消除环境噪音并且放大环境语音和环境声。

14、在本申请一个可选实施例中，所述卡尔曼滤波模型为多个，每一所述卡尔曼滤波模型对应一个所述卡尔曼滤波参数，每一所述卡尔曼滤波模型用于对所述频域信号中对应的频点组中每一频点进行降噪，所述频点组内包括多个频点。

15、上述实施例中，频点组内的所有频点共用同一组参数从而大大降低了计算复杂度，有利于在低算力设备上的部署和实时性的提升。

16、在本申请一个可选实施例中，所述卡尔曼滤波参数包括以下至少一者：预测状态参数、协方差参数、噪声参数。

17、第二方面，本申请实施例提供了一种回声消除装置，所述装置包括：第一转换模块，用于对接收的音频信号进行变换，得到频域信号；预测模块，用于将所述频域信号输入预设的神经网络模型，获取所述神经网络模型输出的卡尔曼滤波参数；降噪模块，用于使用所述卡尔曼滤波参数及预设的卡尔曼滤波模型对所述频域信号进行处理，得到处理信号；第二转换模块，用于将所述处理信号转换为处理音频信号。

18、第三方面，本申请实施例提供了一种电子设备，包括：存储器和处理器，所述处理器与所述存储器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行如第一方面中任一项所述的回声消除方法。

19、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行第一方面中任一项所述的回声消除方法。

20、本申请的其他特征和优点将在随后的说明书阐述。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种回声消除方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型通过训练预设的基础模型得到，所述训练中至少一个训练样本中标记数据为包括环境噪音的音频信号。

3.根据权利要求2所述的方法，其特征在于，所述训练的数据集包括第一训练集和第二训练集；

4.根据权利要求3所述的方法，其特征在于，所述第一训练集中每一样本中特征数据为麦克风数据，标签数据为近端语音，所述麦克风数据为对远端语音和所述近端语音进行接收得到的数据，所述远端语音为扬声器发出的声音，所述近端语音为用户讲话的语音，第一训练集中近端语音为零。

5.根据权利要求3所述的方法，其特征在于，所述第二训练集中每一样本中特征数据为麦克风数据，标签数据为近端语音和环境噪音，所述麦克风数据为对所述近端语音、远端语音及所述环境噪音进行接收得到的数据，所述近端语音为用户讲话的语音，所述远端语音为扬声器发出的声音，所述环境噪音为对所述用户指定的环境音进行调整得到的。

6.根据权利要求5所述的方法，其特征在于，所述环境噪音的相位、幅值、频率均与所述近端语音相似。

7.根据权利要求4或5所述的方法，其特征在于，所述基础模型训练的损失函数为信号差和权重值之和，所述信号差为所述近端语音与所述卡尔曼滤波模型的输出信号之差，所述权重值基于回声权重、幅值及相位值得到，所述回声权重依据噪声在所述麦克风数据中的占比得到，所述幅值为所述卡尔曼滤波模型的输出信号的幅值与所述近端语音的幅值之差，所述相位为所述卡尔曼滤波模型的输出信号的相位与所述近端语音的相位之差。

8.根据权利要求1所述的方法，其特征在于，所述卡尔曼滤波模型为多个，每一所述卡尔曼滤波模型对应一个所述卡尔曼滤波参数，每一所述卡尔曼滤波模型用于对所述频域信号中对应的频点组中每一频点进行降噪，所述频点组内包括多个频点。

9.根据权利要求1所述的方法，其特征在于，所述卡尔曼滤波参数包括以下至少一者：预测状态参数、协方差参数、噪声参数。

10.一种回声消除装置，其特征在于，所述装置包括：

11.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器与所述存储器连接；

12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1-9中任一项所述的方法。

技术总结本申请提供一种回声消除方法、装置、电子设备及存储介质，其中，所述方法包括：对接收的音频信号进行变换，得到频域信号；将所述频域信号输入预设的神经网络模型，获取所述神经网络模型输出的卡尔曼滤波参数；使用所述卡尔曼滤波参数及预设的卡尔曼滤波模型对所述频域信号进行处理，得到处理信号；将所述处理信号转换为处理音频信号，通过神经网络模型对卡尔曼滤波模型的参数进行预测，利用预测的参数和卡尔曼滤波模型对语音数据进行回声消除，有效提升了回声消除效果，对于回声路径有变化的环境的响应更为及时并且具有更强的鲁棒性。此外，本申请的方法计算复杂度低，实时性高。技术研发人员：董璘,卢县,魏子凯受保护的技术使用者：恒玄科技（上海）股份有限公司技术研发日：技术公布日：2024/3/12