声音模拟方法、系统及声音模拟设备与流程

本发明涉及声音处理领域，尤其涉及一种声音模拟方法、系统及声音模拟设备。

背景技术：

1、在娱乐场景中，存在需要将一个人的声音转换为另一个人声音的需求，例如在ktv中或采用k歌软件唱歌时，用户想要将自己的声音转换为某个歌星的声音来进行演唱。现有技术无法满足实时将用户声音转换为某一歌星的声音进行演唱的需求。

2、针对现有技术中的上述问题，目前还没有一个有效的解决方法。

技术实现思路

1、为解决上述问题，本发明提供一种声音模拟方法、系统及声音模拟设备，预先根据歌星的音频数据进行模型训练，得到多个歌星对应的音色转换模型，在用户演唱时，通过将用户的音频输入至目标音色转换模型中，并依据用户相似度的选择得到模拟歌星的音频进行输出，从而解决了如何实时将用户声音转换为某一歌星声音的问题。

2、为达到上述目的，本发明提供了一种声音模拟方法，包括：实时获取待转换音频数据、目标音色转换对象及目标音色相似度；其中，所述目标音色相似度为与目标音色转换对象的音色的期望相似度；根据所述目标音色转换对象加载对应的目标音色转换模型；其中，所述目标音色转换模型预先根据目标音色转换对象的相关音频数据进行训练得到；将所述待转换音频数据输入至所述目标音色转换模型中，得到转换音频数据，根据目标音色相似度、转换音频数据及待转换音频数据计算输出音频数据。

3、进一步可选的，所述根据目标音色转换对象的相关音频数据进行训练得到所述目标音色转换模型，包括：根据目标音色转换对象的相关音频数据提取所述目标音色转换对象的干人声数据；计算所述干人声数据的线性频谱，对所述干人声数据进行特征提取得到内容向量，并提取所述干人声数据的基频；根据所述线性频谱、基频及内容向量对编码器-解码器神经网络进行训练，得到目标音色转换模型。

4、进一步可选的，所述根据目标音色相似度、转换音频数据及待转换音频数据计算输出音频数据包括：根据所述目标音色相似度将所述转换音频数据及待转换音频数据进行音量和音调的对齐；根据所述目标音色相似度确定待转换音频数据的第一叠加权重，及转换音频数据的第二叠加权重，根据所述第一叠加权重及第二叠加权重将对齐后的转换音频数据及待转换音频数据进行叠加，得到叠加音频数据；对所述叠加音频数据进行平滑处理及混响处理，得到所述输出音频数据。

5、进一步可选的，所述根据所述目标音色转换对象加载对应的目标音色转换模型，包括：根据所述目标音色转换对象确定目标音色转换模型的模型加载信号；根据所述模型加载信号加载本地的目标音色转换模型，或通过usb私有协议接收并加载目标音色转换模型，或通过蓝牙接收并加载目标音色转换模型。

6、进一步可选的，所述根据目标音色相似度、转换音频数据及待转换音频数据计算输出音频数据之后，包括：对所述输出音频数据进行音效均衡，和/或回声处理，和/或混响处理。

7、另一方面，本发明还提供了一种声音模拟系统，包括：数据获取模块，用于实时获取待转换音频数据、目标音色转换对象及目标音色相似度；其中，所述目标音色相似度为与目标音色转换对象的音色的期望相似度；模型加载模块，用于根据所述目标音色转换对象加载对应的目标音色转换模型；其中，所述目标音色转换模型预先根据目标音色转换对象的相关音频数据进行训练得到；音频输出模块，用于将所述待转换音频数据输入至所述目标音色转换模型中，得到转换音频数据，根据目标音色相似度、转换音频数据及待转换音频数据计算输出音频数据。

8、进一步可选的，还包括：干人声数据提取模块，用于根据目标音色转换对象的相关音频数据提取所述目标音色转换对象的干人声数据；特征提取模块，用于计算所述干人声数据的线性频谱，对所述干人声数据进行特征提取得到内容向量，并提取所述干人声数据的基频；模型训练模块，用于根据所述线性频谱、基频及内容向量对编码器-解码器神经网络进行训练，得到目标音色转换模型。

9、进一步可选的，所述音频输出模块包括：调整子模块，用于根据所述目标音色相似度将所述转换音频数据及待转换音频数据进行音量和音调的对齐；音频叠加子模块，用于根据所述目标音色相似度确定待转换音频数据的第一叠加权重，及转换音频数据的第二叠加权重，根据所述第一叠加权重及第二叠加权重将对齐后的转换音频数据及待转换音频数据进行叠加，得到叠加音频数据；混合处理子模块，用于对所述叠加音频数据进行平滑处理及混响处理，得到所述输出音频数据。

10、进一步可选的，所述模型加载模块包括：加载信号确定子模块，用于根据所述目标音色转换对象确定目标音色转换模型的模型加载信号；接收加载子模块，用于根据所述模型加载信号加载本地的目标音色转换模型，或通过usb私有协议接收并加载目标音色转换模型，或通过蓝牙接收并加载目标音色转换模型。

11、另一方面，本发明还提供一种声音模拟设备，包括存储器及处理器；所述存储器上存储的程序在被所述处理器运行时，可实现上述声音模拟方法的步骤。

12、上述技术方案具有如下有益效果：预先训练不同歌星对应的音色转换模型，从而能够在用户演唱时，将用户的声音通过音频采集设备实时转化为目标歌星的声音进行输出，提高了用户体验及声音转换效率；且在转换过程中可以随时更改目标歌星及音色相似度，进一步提高用户的演唱体验。

技术特征：

1.一种声音模拟方法，其特征在于，包括：

2.根据权利要求1所述的声音模拟方法，其特征在于，所述根据目标音色转换对象的相关音频数据进行训练得到所述目标音色转换模型，包括：

3.根据权利要求2所述的声音模拟方法，其特征在于，所述根据目标音色相似度、转换音频数据及待转换音频数据计算输出音频数据包括：

4.根据权利要求3所述的声音模拟方法，其特征在于，所述根据所述目标音色转换对象加载对应的目标音色转换模型，包括：

5.根据权利要求4所述的声音模拟方法，其特征在于，所述根据目标音色相似度、转换音频数据及待转换音频数据计算输出音频数据之后，包括：

6.一种声音模拟系统，其特征在于，包括：

7.根据权利要求6所述的声音模拟系统，其特征在于，还包括：

8.根据权利要求7所述的声音模拟系统，其特征在于，所述音频输出模块包括：

9.根据权利要求8所述的声音模拟系统，其特征在于，所述模型加载模块包括：

10.一种声音模拟设备，其特征在于，包括存储器及处理器；所述存储器上存储的程序在被所述处理器运行时，可实现如权利要求1至5中任一项所述声音模拟方法的步骤。

技术总结本发明实施例公开了一种声音模拟方法、系统及声音模拟设备，其中，该方法包括：实时获取待转换音频数据、目标音色转换对象及目标音色相似度；根据所述目标音色转换对象加载对应的目标音色转换模型；其中，所述目标音色转换模型预先根据目标转换对象的相关音频数据进行训练得到；将所述待转换音频数据输入至所述目标音色转换模型中，得到转换音频数据，根据目标音色相似度、转换音频数据及待转换音频数据计算输出音频数据。提高了用户演唱的使用体验。技术研发人员：王世昌,孙承斌,王宏受保护的技术使用者：北京雷石天地电子技术有限公司技术研发日：技术公布日：2024/5/12