一种通过声纹补偿失真语音的系统及方法与流程

本发明涉及音频处理，具体涉及一种通过声纹补偿失真语音的系统及方法。

背景技术：

1、随着计算机硬件和网络技术的高速发展，传统的通讯方式如电话、传真等已无法满足人们深层次的交流需求，近年来以声音和视频作为主要传输对象的多媒体通信成为当今通信领域研究的热点。视频会议系统作为一种现代化的办公系统，它可以将不同会场的实时场景和语音互连起来，使各与会者有“面对面”交谈的感觉。伴随着通信技术的进一步提升，高质量的多媒体视频会议也成为一种发展趋势，被越来越多的人所需求。

2、然而，音视频通讯中依然存在很多问题影响与会者们的实际沟通效果，例如噪声问题。对于噪声问题，通常的处理方法就是通过传统降噪算法或者ai降噪算法进行降噪处理。但是，在语音信号低信噪比环境中，很多人声有用信号也埋没噪声信号里面。因此，经过降噪后，会导致人声语音信号的信息缺失，尤其是高频部分，普遍经过降噪后，人声听起来不清晰，很难听得懂。虽然目前一部分处理方法会对降噪后的高频信号进行补偿，但仍然存在失真、不清晰的情况。

技术实现思路

1、针对现有技术存在的问题，本发明的目的在于提供一种通过声纹补偿失真语音的系统及方法，其将经过降噪后的人声语音信号进行语音的估计和补偿，让声音听起来清晰完整。

2、为实现上述目的，本发明采用的技术方案是：

3、一种通过声纹补偿失真语音的系统，包括音频拾取模块、降噪模块、频谱估计和补偿模块，所述系统还包括文字补偿模块；

4、所述音频拾取模块用于获取第一音频信息，所述第一音频信息中包含人声和噪音；

5、所述降噪模块连接音频拾取模块，用于对第一音频信号进行降噪处理，去除噪音，得到包含人声的第二音频信息；

6、所述文字补偿模块连接降噪模块，用于对第二音频信息进行语义判断，判断第二音频信息中的语义是否有文字缺失，若没有缺失，则将第二音频信息发送至频谱估计和补偿模块；若有文字缺失，则进行缺失文字补偿；

7、具体地，从第二音频信息中提取出声纹特征，根据声纹特征和缺失文字得到第三音频信息，并将第三音频信息补偿到第二音频信息中，形成第四音频信息；将该第四音频信息发送至频谱估计和补偿模块；

8、所述频谱估计和补偿模块用于对第二音频信息或第四音频信息进行补偿处理，补偿缺失的高频信息，得到完整的音频信息。

9、所述文字补偿模块对第二音频信息的语义判断具体为：

10、对第二音频信息进行语音识，别提取文字；

11、对第二音频信息进行语义识别，提取语句；

12、将语句和文字进行对比，判断文字是否有明显缺失，当存在缺失时，根据语句和第二音频信息确认缺失的文字和位置。

13、所述文字补偿模块从第二音频信息中提取的声纹特征为缺失文字所在语义段的声纹特征。

14、所述音频拾取模块为阵列麦克风。

15、所述降噪模块为ai降噪模块。

16、一种通过声纹补偿失真语音的方法，所述方法采用如上所述的一种通过声纹补偿失真语音的系统实现；所述方法包括以下步骤：

17、步骤1、获取第一音频信息，该第一音频信息包括人声和噪音；

18、步骤2、对第一音频信息进行降噪处理，去除噪音，获得包含人声的第二音频信息；

19、步骤3、根据语义判断第二音频信息中是否有文字缺失，若无则进入步骤5；若有缺失则进入步骤4；

20、步骤4、获取第二音频信息的声纹特征，根据缺失文字以及声纹特征获取缺失文字的第三音频信息；然后将第三音频信息补偿到第二音频信息中，得到第四音频信息，然后进入步骤5；

21、步骤5、对步骤3发送的第二音频信息或者步骤4发送的第四音频信息进行补偿处理，补偿缺失的高频信息，得到完整的音频信息。

22、所述步骤4中，获取缺失文字所在语义段的声纹特征，根据该声纹特征确定缺失文字的声纹特征，根据缺失文字的声纹特征即可得到第三音频信息。

23、采用上述方案后，本发明在对音频进行降噪处理后，还会通过文字补偿模块判断是否有文字缺失，当有文字缺失时，结合声纹特征和缺失的文字获取缺失文字对应的音频信息，然后将该缺失文字对应的音频信息补偿到降噪处理后的音频中，最后做高频补偿，从而可以得到完整清晰的音频信息。

技术特征：

1.一种通过声纹补偿失真语音的系统，包括音频拾取模块、降噪模块、频谱估计和补偿模块，其特征在于：所述系统还包括文字补偿模块；

2.根据权利要求1所述的一种通过声纹补偿失真语音的系统，其特征在于：所述文字补偿模块对第二音频信息的语义判断具体为：

3.根据权利要求1所述的一种通过声纹补偿失真语音的系统，其特征在于：所述文字补偿模块从第二音频信息中提取的声纹特征为缺失文字所在语义段的声纹特征。

4.根据权利要求1所述的一种通过声纹补偿失真语音的系统，其特征在于：所述音频拾取模块为阵列麦克风。

5.根据权利要求1所述的一种通过声纹补偿失真语音的系统，其特征在于：所述降噪模块为ai降噪模块。

6.一种通过声纹补偿失真语音的方法，其特征在于：所述方法采用如权利要求1-5任一所述的一种通过声纹补偿失真语音的系统实现；所述方法包括以下步骤：

7.根据权利要求6所述的一种通过声纹补偿失真语音的方法，其特征在于：所述步骤4中，获取缺失文字所在语义段的声纹特征，根据该声纹特征确定缺失文字的声纹特征，根据缺失文字的声纹特征即可得到第三音频信息。

技术总结本发明涉及一种通过声纹补偿失真语音的系统及方法，其在对音频进行降噪处理后，还会通过文字补偿模块判断是否有文字缺失，当有文字缺失时，结合声纹特征和缺失的文字获取缺失文字对应的音频信息，然后将该缺失文字对应的音频信息补偿到降噪处理后的音频中，最后做高频补偿，从而可以得到完整清晰的音频信息。技术研发人员：朱俏隆受保护的技术使用者：广州深空智能科技有限公司技术研发日：技术公布日：2024/4/22