本公开涉及音频技术领域，更具体地说，涉及一种语音增强模型的训练方法和装置及语音增强方法和装置。
背景技术：
嘈杂的环境会影响人们在语音沟通中的效果，在当前的主流通讯软件中，通常采用不同语音增强算法实现对通话过程中含噪音频进行处理，传统方法可以实现对稳态噪声的处理，优点是运算复杂度低，深度学习方法通常用来去除瞬态噪声，效果较传统方法要好，但是运算复杂度高。然而，普通的语音增强算法会去除场景中的全部噪声只保留人声，但是在不同场景下，人们需要去除的噪声类型是不同的，因此，普通的语音增强算法无法实现针对特定场景下的语音增强。
技术实现要素：
本公开提供一种语音增强模型的训练方法和装置及语音增强方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
根据本公开实施例的第一方面，提供一种语音增强模型的训练方法，所述语音增强模型包括噪声掩膜比预测网络和噪声类型判别网络，所述训练方法包括：获取含噪语音样本，其中，所述含噪语音样本由说话人语音样本与至少一种场景噪声数据混合而成；将所述至少一种场景噪声数据中的参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征，其中，所述参考场景噪声数据为所述至少一种场景噪声数据之中的期望去除的场景噪声数据，所述语音增强模型用于获得从所述含噪语音样本去除所述参考场景噪声数据之后得到的估计的语音增强信号；将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，其中，所述噪声掩膜比表示所述参考场景噪声数据的幅度谱与所述含噪语音样本的幅度谱的比值；基于所述参考场景噪声数据的估计的噪声掩膜比和所述参考场景噪声数据的噪声类型特征，计算损失函数；通过计算出的损失函数调整所述噪声掩膜比预测网络和所述噪声类型判别网络的参数，对所述语音增强模型进行训练。
可选地，所述将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，可包括：将所述含噪语音样本的幅度谱和所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，所述将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，可包括：将所述含噪语音样本的幅度谱输入所述噪声掩膜比预测网络中的一部分网络，得到所述含噪语音样本的幅度谱的局部特征；将所述局部特征与所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络中的另一部分，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，所述噪声掩膜比预测网络可为包括卷积神经网络和循环神经网络的卷积循环神经网络。
可选地，所述噪声掩膜比预测网络中的一部分网络可为所述卷积循环神经网络中的卷积神经网络，所述噪声掩膜比预测网络中的另一部分网络可为所述卷积循环神经网络中的循环神经网络。
可选地，所述至少一种场景噪声数据中的每种场景噪声数据可均具有真实噪声类型标签向量；其中，基于所述参考场景噪声数据的估计的噪声掩膜比和所述参考场景噪声数据的噪声类型特征，计算损失函数，可包括：通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述含噪语音样本的幅度谱相乘，得到估计的语音增强信号的幅度谱；通过将所述噪声类型特征经过全连接层得到估计的噪声类型标签向量；基于所述估计的语音增强信号的幅度谱、目标语音增强信号的幅度谱、所述估计的噪声类型标签向量、所述参考场景噪声数据的真实噪声类型标签向量，计算损失函数，其中，所述目标语音增强信号是所述含噪语音样本去除所述参考场景噪声数据之后的信号。
可选地，所述基于所述估计的语音增强信号的幅度谱、目标语音增强信号的幅度谱、所述估计的噪声类型标签向量、所述参考场景噪声数据的真实噪声类型标签向量，计算损失函数，可包括：基于所述估计的语音增强信号的幅度谱和所述目标语音增强信号的幅度谱计算均方误差损失函数；基于所述估计的噪声类型标签向量和所述参考场景噪声数据的真实噪声类型标签向量计算交叉熵损失函数；将所述均方误差损失函数和所述交叉熵损失函数求和，得到所述损失函数。
可选地，所述损失函数可被表示为：
其中，magest表示所述估计的语音增强信号的幅度谱，magtar表示所述目标语音增强信号的幅度谱，
根据本公开实施例的第二方面，提供一种语音增强方法，所述语音增强方法基于包括噪声掩膜比预测网络和噪声类型判别网络的语音增强模型执行，所述语音增强方法包括：获取待增强的含噪语音信号以及参考场景噪声数据，其中，所述待增强的含噪语音信号包括说话人语音信号以及至少一种场景噪声数据，所述参考场景噪声数据为所述至少一种场景噪声数据之中的期望去除的场景噪声数据；将所述参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征；将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，其中，所述噪声掩膜比表示所述参考场景噪声数据的幅度谱与所述含噪语音信号的幅度谱的比值；基于所述参考场景噪声数据的估计的噪声掩膜比和所述待增强的含噪语音信号，得到估计的语音增强信号，其中，所述估计的语音增强信号为从待增强的含噪语音信号去除所述参考场景噪声数据之后得到的估计的语音增强信号。
可选地，所述将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，可包括：将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，所述将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，可包括：将所述待增强的含噪语音信号的幅度谱输入所述噪声掩膜比预测网络中的一部分网络，得到所述含噪语音样本的幅度谱的局部特征；将所述局部特征与所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络中的另一部分，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，所述噪声掩膜比预测网络可为包括卷积神经网络和循环神经网络的卷积循环神经网络。
可选地，所述噪声掩膜比预测网络中的一部分网络可为所述卷积循环神经网络中的卷积神经网络，所述噪声掩膜比预测网络中的另一部分网络可为所述卷积循环神经网络中的循环神经网络。
可选地，所述基于所述参考场景噪声数据的估计的噪声掩膜比和所述待增强的含噪语音信号，得到估计的语音增强信号，可包括：通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述待增强的含噪语音信号的幅度谱相乘，得到估计的语音增强信号的幅度谱；将所述估计的语音增强信号的幅度谱与所述待增强的含噪语音信号的相位谱结合并执行时频逆变换，得到所述估计的语音增强信号。
可选地，所述参考场景噪声数据可以是在说话人所处环境下预先录制的期望去除的场景噪声片段。
可选地，所述语音增强模型是使用根据本公开的语音增强模型的训练方法训练得到的。
根据本公开实施例的第三方面，提供一种语音增强模型的训练装置，所述语音增强模型包括噪声掩膜比预测网络和噪声类型判别网络，所述训练装置包括：样本获取单元，被配置为：获取含噪语音样本，其中，所述含噪语音样本由说话人语音样本与至少一种场景噪声数据混合而成；噪声类型估计单元，被配置为：将所述至少一种场景噪声数据中的参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征，其中，所述参考场景噪声数据为所述至少一种场景噪声数据之中的期望去除的场景噪声数据，所述语音增强模型用于获得从所述含噪语音样本去除所述参考场景噪声数据之后得到的估计的语音增强信号；噪声掩膜比估计单元，被配置为：将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，其中，所述噪声掩膜比表示所述参考场景噪声数据的幅度谱与所述含噪语音样本的幅度谱的比值；损失函数计算单元，被配置为：基于所述参考场景噪声数据的估计的噪声掩膜比和所述参考场景噪声数据的噪声类型特征，计算损失函数；模型训练单元，被配置为：通过计算出的损失函数调整所述噪声掩膜比预测网络和所述噪声类型判别网络的参数，对所述语音增强模型进行训练。
可选地，噪声掩膜比估计单元可被配置为：将所述含噪语音样本的幅度谱和所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，噪声掩膜比估计单元可被配置为：将所述含噪语音样本的幅度谱输入所述噪声掩膜比预测网络中的一部分网络，得到所述含噪语音样本的幅度谱的局部特征；将所述局部特征与所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络中的另一部分，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，所述噪声掩膜比预测网络可为包括卷积神经网络和循环神经网络的卷积循环神经网络。
可选地，所述噪声掩膜比预测网络中的一部分网络可为所述卷积循环神经网络中的卷积神经网络，所述噪声掩膜比预测网络中的另一部分网络可为所述卷积循环神经网络中的循环神经网络。
可选地，所述至少一种场景噪声数据中的每种场景噪声数据可均具有真实噪声类型标签向量；其中，损失函数计算单元可被配置为：通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述含噪语音样本的幅度谱相乘，得到估计的语音增强信号的幅度谱；通过将所述噪声类型特征经过全连接层得到估计的噪声类型标签向量；基于所述估计的语音增强信号的幅度谱、目标语音增强信号的幅度谱、所述估计的噪声类型标签向量、所述参考场景噪声数据的真实噪声类型标签向量，计算损失函数，其中，所述目标语音增强信号是所述含噪语音样本去除所述参考场景噪声数据之后的信号。
可选地，损失函数计算单元可被配置为：基于所述估计的语音增强信号的幅度谱和所述目标语音增强信号的幅度谱计算均方误差损失函数；基于所述估计的噪声类型标签向量和所述参考场景噪声数据的真实噪声类型标签向量计算交叉熵损失函数；将所述均方误差损失函数和所述交叉熵损失函数求和，得到所述损失函数。
可选地，所述损失函数可被表示为：
其中，magest表示所述估计的语音增强信号的幅度谱，magtar表示所述目标语音增强信号的幅度谱，
根据本公开实施例的第四方面，提供一种语音增强装置，所述语音增强装置基于包括噪声掩膜比预测网络和噪声类型判别网络的语音增强模型执行操作，所述语音增强装置包括：数据获取单元，被配置为：获取待增强的含噪语音信号以及参考场景噪声数据，其中，所述待增强的含噪语音信号包括说话人语音信号以及至少一种场景噪声数据，所述参考场景噪声数据为所述至少一种场景噪声数据之中的期望去除的场景噪声数据；噪声类型估计单元，被配置为：将所述参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征；噪声掩膜比估计单元，被配置为：将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，其中，所述噪声掩膜比表示所述参考场景噪声数据的幅度谱与所述含噪语音信号的幅度谱的比值；语音增强单元，被配置为：基于所述参考场景噪声数据的估计的噪声掩膜比和所述待增强的含噪语音信号，得到估计的语音增强信号，其中，所述估计的语音增强信号为从待增强的含噪语音信号去除所述参考场景噪声数据之后得到的估计的语音增强信号。
可选地，噪声掩膜比估计单元可被配置为：将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，噪声掩膜比估计单元可被配置为：将所述待增强的含噪语音信号的幅度谱输入所述噪声掩膜比预测网络中的一部分网络，得到所述含噪语音样本的幅度谱的局部特征；将所述局部特征与所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络中的另一部分，得到所述参考场景噪声数据的估计的噪声掩膜比。
可选地，所述噪声掩膜比预测网络可为包括卷积神经网络和循环神经网络的卷积循环神经网络。
可选地，所述噪声掩膜比预测网络中的一部分网络可为所述卷积循环神经网络中的卷积神经网络，所述噪声掩膜比预测网络中的另一部分网络可为所述卷积循环神经网络中的循环神经网络。
可选地，语音增强单元可被配置为：通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述待增强的含噪语音信号的幅度谱相乘，得到估计的语音增强信号的幅度谱；将所述估计的语音增强信号的幅度谱与所述待增强的含噪语音信号的相位谱结合并执行时频逆变换，得到所述估计的语音增强信号。
可选地，所述参考场景噪声数据可以是在说话人所处环境下预先录制的期望去除的场景噪声片段。
可选地，所述语音增强模型可以是使用根据本公开的语音增强模型的训练方法训练得到的。
根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的语音增强模型的训练方法或语音增强方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的语音增强模型的训练方法或语音增强方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的语音增强模型的训练方法或语音增强方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的语音增强模型的训练方法和训练装置以及语音增强方法和语音增强装置，可借助特定场景噪声作为辅助向量输入到语音增强模型中，实现在特定场景下对特定场景噪声的去除，从而可在包括多种场景噪声的情况下，根据用户需求去除特定场景噪声，达到用户期望的语音增强效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是示出根据本公开的示例性实施例的语音增强模型的整体系统示意图。
图2是示出根据本公开的示例性实施例的语音增强模型的训练方法的流程图。
图3是示出根据本公开的示例性实施例的噪声类型判别网络的结构示意图。
图4是示出根据本公开的示例性实施例的利用噪声掩膜比预测网络得到噪声掩膜比的示意图。
图5是示出根据本公开的另一示例性实施例的利用噪声掩膜比预测网络得到噪声掩膜比的示意图。
图6是示出根据本公开的示例性实施例的语音增强方法的流程图。
图7是示出根据本公开的示例性实施例的语音增强模型的训练装置的框图。
图8是示出根据本公开的示例性实施例的语音增强装置的框图。
图9是根据本公开的示例性实施例的电子设备900的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
传统的语音增强算法无论针对什么场景都会去除场景中的全部噪声只保留人声。例如，在人们拍摄短视频的场景下，有人声、歌声和噪声，人们需要去除噪声而保留人声和歌声，但传统的语音增强算法会去除噪声和歌声，而只保留人声，因此达不到期望的语音增强效果。
为了解决上述技术问题，本公开提供了一种基于场景的语音增强算法，具体地说，本公开提出了一种语音增强模型，其借助特定场景噪声作为辅助向量输入到语音增强模型中，实现在特定场景下对特定场景噪声的去除，从而可在包括多种场景噪声的情况下，根据用户需求去除特定场景噪声，达到用户期望的语音增强效果。下面，将参照图1至图9来具体描述根据本公开的示例性实施例的语音增强模型的训练方法及装置和语音增强方法及装置。
图1是示出根据本公开的示例性实施例的语音增强模型的整体系统示意图。
参照图1，根据本公开的语音增强模型可包括噪声掩膜比预测网络和噪声类型判别网络，噪声掩膜比预测网络用于预测含噪语音中希望被去除的参考场景噪声的噪声掩膜比，噪声类型判别网络用于预测含噪语音中希望被去除的参考场景噪声的类型。
具体地说，在训练阶段，可获得含噪语音样本，含噪语音样本可由说话人语音样本与至少一种场景噪声数据混合而成。可将至少一种场景噪声数据中的期望去除的参考场景噪声数据输入噪声类型判别网络，得到参考场景噪声数据的噪声类型特征(即，embedding向量)。可对含噪语音样本进行时频变换(例如，短时傅里叶变换(short-timefouriertransform，stft))，获得幅度谱和相位谱。可将参考场景噪声数据的噪声类型特征作为辅助向量与含噪语音样本的幅度谱一起输入到噪声掩膜比预测网络，得到预测的噪声掩膜比(mask)。可将预测的噪声掩膜比取补后与含噪语音的幅度谱点乘，得到估计的语音增强信号的幅度谱。可基于参考场景噪声数据的噪声类型特征，得到预测的噪声类型标签。可基于估计的语音增强信号的幅度谱和目标语音增强信号(即，含噪语音样本中去除参考场景噪声数据后的语音信号)的幅度谱计算均方误差损失函数(mseloss)，并基于参考场景噪声数据的预测的噪声类型标签和真实的噪声类型标签计算交叉熵损失函数(crossentropyloss)。将均方误差损失函数和交叉熵损失函数求和得到最终的损失函数(loss)，以对语音增强模型中的噪声掩膜比预测网络和噪声类型判别网络一起进行训练。
在推理阶段，可将希望被去除的参考场景噪声输入噪声类型判别网络，得到参考场景噪声数据的噪声类型特征(即，embedding向量)。可对含噪语音进行时频变换(例如，短时傅里叶变换(short-timefouriertransform，stft))，获得幅度谱和相位谱。可将参考场景噪声数据的噪声类型特征作为辅助向量与含噪语音的幅度谱一起输入到噪声掩膜比预测网络，得到预测的噪声掩膜比(mask)。可将预测的噪声掩膜比取补后与含噪语音的幅度谱点乘，再结合含噪语音的相位谱，并进行时频逆变换(例如，短时傅里叶逆变换(inverseshort-timefouriertransform，istft))，得到估计的从含噪语音去除参考场景噪声数据后的语音，作为增强后的语音。
利用本公开的语音增强模型，可借助特定场景噪声的片段来去除含噪语音中的特定场景噪声，从而实现基于不同场景的不同语音增强效果，提升用户体验。
图2是示出根据本公开的示例性实施例的语音增强模型的训练方法的流程图。这里，如上所述，语音增强模型可包括噪声掩膜比预测网络和噪声类型判别网络，噪声掩膜比预测网络用于预测含噪语音中希望被去除的参考场景噪声的噪声掩膜比，噪声类型判别网络用于预测含噪语音中希望被去除的参考场景噪声的类型。也就是说，语音增强模型可用于获得从含噪语音去除参考场景噪声数据之后得到的估计的语音增强信号。
参照图2，在步骤201，可获取含噪语音样本，其中，所述含噪语音样本由说话人语音样本与至少一种场景噪声数据混合而成。这里，场景的类型可包括地铁站、咖啡厅、大巴车、街道等。场景噪声数据可利用录音设备在不同场景(例如，地铁站、咖啡厅、大巴车、街道等)中进行录音而获得。说话人语音样本可通过语音数据集而获得或者通过录制不同说话人的语音片段而获得。
在步骤202，可将所述至少一种场景噪声数据中的参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征。这里，参考场景噪声数据可以是所述至少一种场景噪声数据中的一种场景噪声数据，且是期望去除的场景噪声数据。此外，噪声类型特征是一个用于描述场景噪声类型信息的固定维度的向量，也可称为辅助向量。例如，参考场景噪声数据可表示为s，噪声类型判别网络可表示为msv，噪声类型特征可表示为embedding，因此，步骤202的过程可被表示为下面的公式(1)。
embedding＝msv(s)(1)
根据本公开的示例性实施例，噪声类型判别网络的输入可以是参考场景噪声数据的梅尔倒谱系数(mel-scalefrequencycepstralcoefficients，mfcc)。例如，噪声类型判别网络的一种实现方式可以是三层长短期记忆(lstm)网络。图3是示出根据本公开的示例性实施例的噪声类型判别网络的结构示意图。可将参考场景噪声数据的mfcc输入三层长短期记忆网络层(lstm1、lstm2、lstm3)，取最后一层lstm3输出的隐藏状态(hiddenstate)，经过一层全连接层(dense)，就可以得到辅助向量embedding。当然，噪声类型判别网络不限于上述网络或模型，还可以是其它任何可能实现噪声类型判别的网络，本公开对此不作限制。
返回参照图2，在步骤203，可将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。
根据本公开的示例性实施例，含噪语音样本的幅度谱可通过时频变换得到。例如，可将含噪语音样本通过短时傅里叶变换(short-timefouriertransform，stft)从时域变换到频域，获得每帧音频信号的幅度信息和相位信息，从而得到该含噪语音样本的幅度谱和相位谱。例如，若长度为t的含有若干种类型噪声的混合信号x在时域上为x(t)，参考场景噪声信号为w(t)，去除参考场景噪声后的语音为y(t)，其中t代表时间，0＜t≤t，因此，含噪语音信号x(t)在时域可被表示为下面的公式(2)。
x(t)＝w(t) y(n)(2)
含噪语音信号x(t)在经过短时傅里叶变换后，在时频域可表示为下面的公式(3)。
x(n，k)＝w(n，k) y(n，k)(3)
其中，n为帧序列，0＜n≤n，n为总帧数，k为中心频率序列0＜k≤k；k为总频点数。
在得到频域的含噪信号x(n，k)后，可获取其幅度谱magori和相位谱phaori，可表示为下面的公式(4)。
mag(n，k)＝abs(x(n，k))，pha(n，k)＝angle(x(n，k))(4)
在得到含噪信号的幅度谱之后，可将含噪语音的幅度谱mag(n，k)和噪声类型特征embedding输入所述噪声掩膜比预测网络mse，得到参考场景噪声数据的估计的噪声掩膜比maskw，即，上述过程可被表示为下面的公式(5)。
maskw＝mse(mag，embedding)(5)
根据本公开的示例性实施例，参考场景噪声数据的噪声掩膜比可以是参考场景噪声数据的幅度谱与含噪语音信号幅度谱的比值。具体地，参考场景噪声数据的噪声掩膜比可以是与该参考场景噪声数据的幅度谱相同的一个增益矩阵，其中每个元素的值为【0，1】之间。参考场景噪声数据的噪声掩膜比通过与含噪语音信号幅度谱点乘，再执行时频逆变换后，可得到参考场景噪声数据。
根据本公开的示例性实施例，可将含噪语音样本的幅度谱和噪声类型特征进行串联；将串联后的特征输入噪声掩膜比预测网络，得到参考场景噪声数据的估计的噪声掩膜比。根据本公开的另一示例性实施例，将含噪语音样本的幅度谱输入噪声掩膜比预测网络中的一部分网络，得到含噪语音样本的幅度谱的局部特征；将局部特征与噪声类型特征进行串联；将串联后的特征输入噪声掩膜比预测网络中的另一部分，得到参考场景噪声数据的估计的噪声掩膜比。
根据本公开的示例性实施例，噪声掩膜比预测网络可以为包括卷积神经网络(cnn)和循环神经网络(rnn)的卷积循环神经网络(crnn)。图4是示出根据本公开的示例性实施例的利用噪声掩膜比预测网络得到噪声掩膜比的示意图。参照图4，可将含噪语音样本的幅度谱(mag)和噪声类型特征(embedding)进行串联(concat)，并将串联后的特征输入噪声掩膜比预测网络，使用cnn提取特征后送入rnn进行上下文关系的建立，输出估计的噪声掩膜比maskw。图5是示出根据本公开的另一示例性实施例的利用噪声掩膜比预测网络得到噪声掩膜比的示意图。参照图5，可将含噪语音样本的幅度谱(mag)输入噪声掩膜比预测网络中的一部分网络(例如，cnn)，得到所述含噪语音样本的幅度谱的局部特征，再将局部特征与噪声类型特征(embedding)进行串联(concat)，再将串联后的特征输入噪声掩膜比预测网络中的另一部分(例如，rnn)，得到估计的噪声掩膜比maskw。当然，噪声掩膜比预测网络不限于上述网络或模型，还可以是其它任何可能实现噪声掩膜比预测的网络，本公开对此不作限制。
返回参照图2，在步骤204，可基于所述参考场景噪声数据的估计的噪声掩膜比和所述参考场景噪声数据的噪声类型特征，计算损失函数。
根据本公开的示例性实施例，通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述含噪语音样本的幅度谱相乘，得到估计的语音增强信号的幅度谱。例如，此过程可被表示为下面的公式(6)。
magest＝magori⊙(1-maskw)(6)
此外，可通过将所述噪声类型特征经过全连接层得到估计的噪声类型标签向量。也就是说，可将噪声类型特征经过全连接层投影到一个固定维度的向量
因此，可基于所述估计的语音增强信号的幅度谱magest、目标语音增强信号的幅度谱magtar、所述估计的噪声类型标签向量
例如，可基于所述估计的语音增强信号的幅度谱和所述目标语音增强信号的幅度谱计算均方误差损失函数。例如，均方误差损失函数可被表示为下面的公式(7)。
可基于所述估计的噪声类型标签向量和所述参考场景噪声数据的真实噪声类型标签向量计算交叉熵损失函数。例如，交叉熵损失函数可被表示为下面的公式(8)。
可将所述均方误差损失函数和所述交叉熵损失函数求和，得到最终的损失函数。例如，最终的损失函数可被表示为下面的公式(9)。
其中，magest表示所述估计的语音增强信号的幅度谱，magtar表示所述目标语音增强信号的幅度谱，
在步骤205，可通过计算出的损失函数调整所述噪声掩膜比预测网络和所述噪声类型判别网络的参数，对所述语音增强模型进行训练。也就是说，可利用上面的公式(9)的值反向传播以对所述噪声掩膜比预测网络和所述噪声类型判别网络的参数进行协同调整。
图6是示出根据本公开的示例性实施例的语音增强方法的流程图。这里，根据本公开的示例性实施例的语音增强方法可基于根据本公开的语音增强模型来实现。根据本公开的语音增强模型可包括噪声掩膜比预测网络和噪声类型判别网络。例如，根据本公开的语音增强模型可通过使用根据本公开的语音增强模型的训练方法训练得到。
参照图6，在步骤601，可获取待增强的含噪语音信号以及参考场景噪声数据，其中，所述待增强的含噪语音信号包括说话人语音信号以及至少一种场景噪声数据，所述参考场景噪声数据为所述至少一种场景噪声数据之中的期望去除的场景噪声数据。例如，场景的类型可包括地铁站、咖啡厅、大巴车、街道等。例如，参考场景噪声数据可以是在说话人所处环境下预先录制的用户期望去除的场景噪声片段。
在步骤602，可将所述参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征。例如，噪声类型判别网络可以是，但不限于，如图3所示的结构。
这里，本公开不限制步骤601和602的执行顺序。例如，在步骤601中，可先获取参考场景噪声数据再获取待增强的含噪语音信号，或者可先获取待增强的含噪语音信号再获取参考场景噪声数据，或者可同时获取待增强的含噪语音信号以及参考场景噪声数据。又例如，可先执行步骤601中的获取参考场景噪声数据，再执行步骤602中的获取噪声类型特征，再执行601中的获取待增强的含噪语音信号。
在步骤603，可将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，其中，所述噪声掩膜比可表示所述参考场景噪声数据的幅度谱与所述含噪语音信号的幅度谱的比值。
根据本公开的示例性实施例，可将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。根据本公开的另一示例性实施例，可将所述待增强的含噪语音信号的幅度谱输入所述噪声掩膜比预测网络中的一部分网络，得到所述含噪语音样本的幅度谱的局部特征；将所述局部特征与所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络中的另一部分，得到所述参考场景噪声数据的估计的噪声掩膜比。
根据本公开的示例性实施例，噪声掩膜比预测网络可以为包括卷积神经网络(cnn)和循环神经网络(rnn)的卷积循环神经网络(crnn)。例如，如图4所示，可将直接将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征进行串联，并将串联后的特征输入所述噪声掩膜比预测网络，得到估计的噪声掩膜比。又例如，如图5所示，可将所述待增强的含噪语音信号的幅度谱输入所述噪声掩膜比预测网络中的一部分网络(例如，cnn)，得到所述含噪语音样本的幅度谱的局部特征，再将所述局部特征与所述噪声类型特征进行串联，再将串联后的特征输入所述噪声掩膜比预测网络中的另一部分(例如，rnn)，得到估计的噪声掩膜比。
在步骤604，可基于所述参考场景噪声数据的估计的噪声掩膜比和所述待增强的含噪语音信号，得到估计的语音增强信号，其中，所述估计的语音增强信号为从待增强的含噪语音信号去除所述参考场景噪声数据之后得到的估计的语音增强信号。
根据本公开的示例性实施例，可通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述待增强的含噪语音信号的幅度谱相乘，得到估计的语音增强信号的幅度谱，例如，可如公式(6)所示。再将所述估计的语音增强信号的幅度谱与所述待增强的含噪语音信号的相位谱结合并执行时频逆变换，得到所述估计的语音增强信号。例如，可将估计的语音增强信号的幅度谱magest与待增强的含噪语音信号的相位谱phaori结合，经过短时傅立叶逆变换(inverseshort-timefouriertransform，istft)，得到去除参考场景噪声后的估计的语音增强信号y。例如，估计的语音增强信号可被表示为下面的公式(10)。
y＝istft(magest，phaori)(10)
图7是示出根据本公开的示例性实施例的语音增强模型的训练装置的框图。
参照图7，根据本公开的示例性实施例的语音增强模型的训练装置700可包括样本获取单元701、噪声类型估计单元702、噪声掩膜比估计单元703、损失函数计算单元704和模型训练单元705。
样本获取单元701可获取含噪语音样本，其中，所述含噪语音样本由说话人语音样本与至少一种场景噪声数据混合而成。这里，场景的类型可包括地铁站、咖啡厅、大巴车、街道等。场景噪声数据可利用录音设备在不同场景(例如，地铁站、咖啡厅、大巴车、街道等)中进行录音而获得。说话人语音样本可通过语音数据集而获得或者通过录制不同说话人的语音片段而获得。
噪声类型估计单元702可将所述至少一种场景噪声数据中的参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征。这里，参考场景噪声数据可以是所述至少一种场景噪声数据中的一种场景噪声数据，且是期望去除的场景噪声数据。此外，噪声类型特征是一个用于描述场景噪声类型信息的固定维度的向量，也可称为辅助向量。
根据本公开的示例性实施例，噪声类型判别网络的输入可以是参考场景噪声数据的梅尔倒谱系数(mel-scalefrequencycepstralcoefficients，mfcc)。例如，噪声类型判别网络的一种实现方式可以是三层长短期记忆(lstm)网络。如图3所示，噪声类型估计单元702可将参考场景噪声数据的mfcc输入三层长短期记忆网络层(lstm1、lstm2、lstm3)，取最后一层lstm3输出的隐藏状态(hiddenstate)，经过一层全连接层(dense)，就可以得到辅助向量embedding。当然，噪声类型判别网络不限于上述网络或模型，还可以是其它任何可能实现噪声类型判别的网络，本公开对此不作限制。
噪声掩膜比估计单元703可将所述含噪语音样本的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。
根据本公开的示例性实施例，含噪语音样本的幅度谱可通过时频变换得到。例如，噪声掩膜比估计单元703可将含噪语音样本通过短时傅里叶变换(short-timefouriertransform，stft)从时域变换到频域，获得每帧音频信号的幅度信息和相位信息，从而得到该含噪语音样本的幅度谱和相位谱。
根据本公开的示例性实施例，参考场景噪声数据的噪声掩膜比可以是参考场景噪声数据的幅度谱与含噪语音信号幅度谱的比值。具体地，参考场景噪声数据的噪声掩膜比可以是与该参考场景噪声数据的幅度谱相同的一个增益矩阵，其中每个元素的值为【0，1】之间。参考场景噪声数据的噪声掩膜比通过与含噪语音信号幅度谱点乘，再执行时频逆变换后，可得到参考场景噪声数据。
根据本公开的示例性实施例，噪声掩膜比估计单元703可将含噪语音样本的幅度谱和噪声类型特征进行串联；将串联后的特征输入噪声掩膜比预测网络，得到参考场景噪声数据的估计的噪声掩膜比。根据本公开的另一示例性实施例，噪声掩膜比估计单元703可将含噪语音样本的幅度谱输入噪声掩膜比预测网络中的一部分网络，得到含噪语音样本的幅度谱的局部特征；将局部特征与噪声类型特征进行串联；将串联后的特征输入噪声掩膜比预测网络中的另一部分，得到参考场景噪声数据的估计的噪声掩膜比。
根据本公开的示例性实施例，噪声掩膜比预测网络可以为包括卷积神经网络(cnn)和循环神经网络(rnn)的卷积循环神经网络(crnn)。例如，如图4所示，噪声掩膜比估计单元703可将含噪语音样本的幅度谱(mag)和噪声类型特征(embedding)进行串联(concat)，并将串联后的特征输入噪声掩膜比预测网络，使用cnn提取特征后送入rnn进行上下文关系的建立，输出估计的噪声掩膜比maskw。又例如，如图5所示，噪声掩膜比估计单元703可将含噪语音样本的幅度谱(mag)输入噪声掩膜比预测网络中的一部分网络(例如，cnn)，得到所述含噪语音样本的幅度谱的局部特征，再将局部特征与噪声类型特征(embedding)进行串联(concat)，再将串联后的特征输入噪声掩膜比预测网络中的另一部分(例如，rnn)，得到估计的噪声掩膜比maskw。当然，噪声掩膜比预测网络不限于上述网络或模型，还可以是其它任何可能实现噪声掩膜比预测的网络，本公开对此不作限制。
损失函数计算单元704可基于所述参考场景噪声数据的估计的噪声掩膜比和所述参考场景噪声数据的噪声类型特征，计算损失函数。
根据本公开的示例性实施例，损失函数计算单元704可通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述含噪语音样本的幅度谱相乘，得到估计的语音增强信号的幅度谱。损失函数计算单元704可通过将所述噪声类型特征经过全连接层得到估计的噪声类型标签向量。也就是说，可将噪声类型特征经过全连接层投影到一个固定维度的向量。因此，损失函数计算单元704可基于所述估计的语音增强信号的幅度谱、目标语音增强信号的幅度谱、所述估计的噪声类型标签向量、所述参考场景噪声数据的真实噪声类型标签向量，计算损失函数。这里，目标语音增强信号是所述含噪语音样本去除所述参考场景噪声数据之后的信号。此外，上述至少一种场景噪声数据中的每种场景噪声数据均具有真实噪声类型标签向量，例如，onehot向量。
例如，损失函数计算单元704可基于所述估计的语音增强信号的幅度谱和所述目标语音增强信号的幅度谱计算均方误差损失函数，如公式(7)所示。损失函数计算单元704可基于所述估计的噪声类型标签向量和所述参考场景噪声数据的真实噪声类型标签向量计算交叉熵损失函数，如公式(8)所示。损失函数计算单元704可将所述均方误差损失函数和所述交叉熵损失函数求和，得到最终的损失函数，如公式(9)所示。
模型训练单元705可通过计算出的损失函数调整所述噪声掩膜比预测网络和所述噪声类型判别网络的参数，对所述语音增强模型进行训练。也就是说，模型训练单元705可利用上面的公式(9)的值反向传播以对所述噪声掩膜比预测网络和所述噪声类型判别网络的参数进行协同调整。
图8是示出根据本公开的示例性实施例的语音增强装置的框图。这里，根据本公开的示例性实施例的语音增强装置可基于根据本公开的语音增强模型来实现。根据本公开的语音增强模型可包括噪声掩膜比预测网络和噪声类型判别网络。例如，根据本公开的语音增强模型可通过使用根据本公开的语音增强模型的训练方法训练得到。
参照图8，根据本公开的示例性实施例的语音增强装置800可包括数据获取单元801、噪声类型估计单元802、噪声掩膜比估计单元803和语音增强单元804。
数据获取单元801可获取待增强的含噪语音信号以及参考场景噪声数据，其中，所述待增强的含噪语音信号包括说话人语音信号以及至少一种场景噪声数据，所述参考场景噪声数据为所述至少一种场景噪声数据之中的期望去除的场景噪声数据。例如，场景的类型可包括地铁站、咖啡厅、大巴车、街道等。例如，参考场景噪声数据可以是在说话人所处环境下预先录制的用户期望去除的场景噪声片段。
噪声类型估计单元802可将所述参考场景噪声数据输入所述噪声类型判别网络，得到所述参考场景噪声数据的噪声类型特征。
这里，本公开不限制数据获取单元801和噪声类型估计单元802的执行顺序。例如，数据获取单元801可先获取参考场景噪声数据再获取待增强的含噪语音信号，或者可先获取待增强的含噪语音信号再获取参考场景噪声数据，或者可同时获取待增强的含噪语音信号以及参考场景噪声数据。又例如，数据获取单元801可先获取参考场景噪声数据，噪声类型估计单元802再获取噪声类型特征，然后数据获取单元801再获取待增强的含噪语音信号。
噪声掩膜比估计单元803可将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比，其中，所述噪声掩膜比可表示所述参考场景噪声数据的幅度谱与所述含噪语音信号的幅度谱的比值。
根据本公开的示例性实施例，噪声掩膜比估计单元803可将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络，得到所述参考场景噪声数据的估计的噪声掩膜比。根据本公开的另一示例性实施例，噪声掩膜比估计单元803可将所述待增强的含噪语音信号的幅度谱输入所述噪声掩膜比预测网络中的一部分网络，得到所述含噪语音样本的幅度谱的局部特征；将所述局部特征与所述噪声类型特征进行串联；将串联后的特征输入所述噪声掩膜比预测网络中的另一部分，得到所述参考场景噪声数据的估计的噪声掩膜比。
根据本公开的示例性实施例，噪声掩膜比预测网络可以为包括卷积神经网络(cnn)和循环神经网络(rnn)的卷积循环神经网络(crnn)。例如，如图4所示，噪声掩膜比估计单元803可将直接将所述待增强的含噪语音信号的幅度谱和所述噪声类型特征进行串联，并将串联后的特征输入所述噪声掩膜比预测网络，得到估计的噪声掩膜比。又例如，如图5所示，噪声掩膜比估计单元803可将所述待增强的含噪语音信号的幅度谱输入所述噪声掩膜比预测网络中的一部分网络(例如，cnn)，得到所述含噪语音样本的幅度谱的局部特征，再将所述局部特征与所述噪声类型特征进行串联，再将串联后的特征输入所述噪声掩膜比预测网络中的另一部分(例如，rnn)，得到估计的噪声掩膜比。
语音增强单元804可基于所述参考场景噪声数据的估计的噪声掩膜比和所述待增强的含噪语音信号，得到估计的语音增强信号，其中，所述估计的语音增强信号为从待增强的含噪语音信号去除所述参考场景噪声数据之后得到的估计的语音增强信号。
根据本公开的示例性实施例，语音增强单元804可通过将所述参考场景噪声数据的估计的噪声掩膜比取补后与所述待增强的含噪语音信号的幅度谱相乘，得到估计的语音增强信号的幅度谱，再将所述估计的语音增强信号的幅度谱与所述待增强的含噪语音信号的相位谱结合并执行时频逆变换，得到所述估计的语音增强信号。
图9是根据本公开的示例性实施例的电子设备900的框图。
参照图9，电子设备900包括至少一个存储器901和至少一个处理器902，所述至少一个存储器901中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器902执行时，执行根据本公开的示例性实施例的语音增强模型的训练方法或语音增强方法。
作为示例，电子设备900可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备900并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备900还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在电子设备900中，处理器902可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器902可运行存储在存储器901中的指令或代码，其中，存储器1201还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储器901可与处理器902集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器901可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器901和处理器902可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器902能够读取存储在存储器中的文件。
此外，电子设备900还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备900的所有组件可经由总线和/或网络而彼此连接。
根据本公开的示例性实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的语音增强模型的训练方法或语音增强方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-rlth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的示例性实施例，还可提供一种计算机程序产品，包括计算机指令，该计算机指令可由至少一个处理器执行以完成根据本公开的示例性实施例的语音增强模型的训练方法或语音增强方法。
根据本公开的语音增强模型的训练方法和训练装置以及语音增强方法和语音增强装置，可借助特定场景噪声作为辅助向量输入到语音增强模型中，实现在特定场景下对特定场景噪声的去除，从而可在包括多种场景噪声的情况下，根据用户需求去除特定场景噪声，达到用户期望的语音增强效果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
