使用深度神经网络从单输入生成高清晰度双耳语音信号的系统和方法

本公开涉及语音增强，并且尤其涉及设计和训练深度神经网络(dnn，deep neuralnetwork)以从单声道输入生成具有非同相语音分量和噪声分量的双耳信号。

背景技术：

1、声学信号处理领域中的挑战之一是提高声音信号的清晰度和/或质量，其中声音信号可能包括感兴趣的语音分量，其观测值被不需要的噪声分量破坏。为解决这一问题，已开发了许多方法，包括例如最佳滤波技术、频谱估计程序、统计方法、子空间方法和基于深度学习的方法。虽然这些方法在提高信噪比(snr，signal-to-noise ratio)和语音质量方面取得了一定的成功，但在语音清晰度方面，上述方法都存在一些共同的缺点。

技术实现思路

技术特征：

1.一种用于生成双耳信号的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，当使用所述第一扬声器装置和所述第二扬声器装置进行双耳收听时，所述声音信号中的所述语音分量和所述噪声分量被渲染为在感知上来自相反方向或正交方向中的一个。

4.根据权利要求1所述的方法，其中将所述第一信号表示解码为所述第一信号以及将所述第二信号表示解码为所述第二信号包括从所述第一信号表示重建第一波形信号，以及从所述第二信号表示重建第二波形信号。

5.根据权利要求1所述的方法，其中所述dnn的渲染层包括双耳渲染函数，并且所述dnn被训练为基于信号失真指数学习所述双耳渲染函数的参数，所述方法还包括：

6.根据权利要求5所述的方法，其中，基于有噪信号数据点的信号失真指数值等于对应左声道有噪信号数据点和右声道有噪信号数据点的信号失真指数值之和来更新所述参数。

7.根据权利要求5所述的方法，还包括：

8.根据权利要求7所述的方法，还包括重新调整所述纯语音信号的音量使得每个纯语音信号的音量在上阈值和下阈值之间的范围内。

9.根据权利要求7所述的方法，还包括重新调整所述修整的对应噪声信号，使得信噪比(snr)在上阈值和下阈值之间的范围内

10.根据权利要求7所述的方法，还包括：

11.一种用于生成双耳信号的系统，所述系统包括：

12.根据权利要求11所述的系统，其中，所述处理装置还：

13.根据权要求12所述的系统，其中，当使用所述第一扬声器装置和所述第二扬声器装置进行双耳收听时，所述声音信号中的所述语音分量和所述噪声分量被渲染为在感知上来自相反方向或正交方向中的一个。

14.根据权利要求11所述的系统，其中，为将所述第一信号表示解码为所述第一信号以及将所述第二信号表示解码为所述第二信号，所述处理装置还从所述第一信号表示重建第一波形信号，以及从所述第二信号表示重建第二波形信号。

15.根据权利要求11所述的系统，其中，所述dnn的所述渲染层包括双耳渲染函数，并且所述dnn被训练为基于信号失真指数学习所述双耳渲染函数的参数，所述处理装置还：

16.一种非暂态机器可读存储介质，其存储用于生成双耳信号的指令，当执行所述指令时，使处理装置：

17.根据权利要求16所述的非暂态机器可读存储介质，其中，当执行所述指令时，还使所述处理装置：

18.根据权利要求17所述的非暂态机器可读存储介质，其中，当使用所述第一扬声器装置和所述第二扬声器装置进行双耳收听时，所述声音信号中的所述语音分量和所述噪声分量被渲染为在感知上来自相反方向或正交方向中的一个。

19.根据权利要求16所述的非暂态机器可读存储介质，其中，为将所述第一信号表示解码为所述第一信号以及将所述第二信号表示解码为所述第二信号，所述指令还使所述处理装置从所述第一信号表示重建第一波形信号，以及从所述第二信号表示重建第二波形信号。

20.根据权利要求16所述的非暂态机器可读存储介质，其中，所述dnn的渲染层包括双耳渲染函数，并且所述dnn被训练为基于信号失真指数学习所述双耳渲染函数的参数，当执行所述指令时，还使所述处理装置：

技术总结一种生成双耳信号的系统和方法，包括：通过处理装置接收包括语音分量和噪声分量的声音信号(104)，以及通过所述处理装置使用深度神经网络(DNN)将所述声音信号转换为第一信号和第二信号(106)。所述转换还包括：通过所述DNN的编码层将所述声音信号编码为潜在空间中的声音信号表示(108)；通过所述DNN的渲染层将所述声音信号表示渲染为潜在空间中的第一信号表示和第二信号表示(110)；以及通过所述DNN的解码层将所述第一信号表示解码为第一信号，以及将所述第二信号表示解码为第二信号(112)。技术研发人员：陈景东,潘宁宁,王玉竹,杰卡布·贝内斯特受保护的技术使用者：西北工业大学技术研发日：技术公布日：2024/2/25