基于基频控制的歌声转换方法、装置、电子设备及存储介质与流程

本发明涉及语音数据处理领域，尤其涉及一种基于基频控制的歌声转换方法、装置、电子设备及存储介质。

背景技术：

1、基于基频控制的歌声转换技术是一种先进的声音处理手段，在保持同一首歌曲原有内容不变的情况下，实现从源歌唱者的声音风格向目标歌手音色的精准转换，或者两首不同的歌曲，在保持第二首歌曲原有内容不变的情况下，实现从第二歌曲的源歌唱者的声音风格向第一歌曲的目标歌手音色的精准转换。

2、目前，歌声转换模型所面临的最艰巨任务之一是音高的精密模拟和重构。音高不仅决定了歌曲基础的调式结构，更是构建起整首作品节奏律动及情感表达的关键载体。

3、基频信号(f0)作为一种核心的声学参数，对于准确刻画歌曲的音高起伏起着决定性作用，在当前的基于基频控制的歌声转换任务中，已有大量研究将基频纳入模型进行音高预测，并证实了其对提升转换后作品韵律自然度的有效性。

4、然而，直接基于基频进行建模的策略并非完美无缺。实践中发明人发现，这种直接基于基频进行建模的策略，可能导致转换输出的歌曲基频变化范围较窄或歌曲基频值的方差较小，从而在一定程度上限制了不同歌唱者的真实演唱风格和音高特点。

5、例如，金融保险企业在开发的移动应用程序中，将歌声转换应用内置应用模块，来提供多样化的增值服务或互动娱乐服务，来留住现有用户并吸引更多的新用户群体。

6、例如，用户在完成保险业务操作后，可以通过上传自己录制的歌曲片段或者选择平台提供的歌曲样本，利用歌声转换模型将他们的声音转换成不同知名歌手的声音风格。

7、由于当前技术可能存在的局限性，如基频变化范围有限或方差较小的问题，可能会导致转换后的歌声在某些复杂情感表达或极高极低音部分略显不足，无法完全捕捉到目标歌手的所有细微音高特征。

技术实现思路

1、鉴于以上内容，有必要提供一种基于基频控制的歌声转换方法，其目的是能够使转换出的歌声更加贴近目标歌手的真实演唱风格和音高特点。

2、本发明提供的基于基频控制的歌声转换方法，包括：

3、对第一歌曲样本进行裁剪得到关键音高向量，对所述关键音高向量进行随机偏移，得到偏移音高向量；

4、对第二歌曲样本的线性谱执行矢量化处理得到线性谱向量；

5、基于所述关键音高向量与所述线性谱向量得到第一拼接向量，对所述第一拼接向量执行解码，得到重构原始波形；

6、基于所述偏移音高向量与所述线性谱向量得到第二拼接向量，对所述第二拼接向量执行解码，得到偏移波形；

7、基于所述重构原始波形、所述偏移波形与所述第二歌曲样本的原始波形，将所述第二歌曲样本转换为目标歌曲。

8、可选的，所述对第一歌曲样本进行裁剪得到关键音高向量，包括：

9、从所述第一歌曲样本的基频信号中提取初始音高向量，裁剪所述初始音高向量中的非关键区域，得到所述关键音高向量。

10、可选的，在所述从第一歌曲样本的基频信号中提取初始音高向量之前，所述方法还包括：

11、对所述第一歌曲样本进行音频采样，得到所述第一歌曲样本的基频信号。

12、可选的，所述裁剪所述初始音高向量中的非关键区域，得到关键音高向量，包括：

13、裁剪所述初始音高向量中的音高变化小于预设阈值的非关键区域，保留所述初始音高向量中的音高变化大于或等于预设阈值的关键区域，得到所述关键音高向量。

14、可选的，所述对第二歌曲样本的线性谱执行矢量化处理得到线性谱向量，包括：

15、计算所述线性谱与预设的码本中的所有码字之间的相似度；

16、从相似度结果中筛选距离小于阈值的码字替换所述线性谱，得到所述线性谱向量。

17、可选的，所述对所述第一拼接向量执行解码，得到重构原始波形，包括：

18、对所述第一拼接向量执行解码，将解码后的第一拼接向量还原为时间域信号，得到所述重构原始波形。

19、可选的，所述对所述第二拼接向量执行解码，得到偏移波形，包括：

20、对所述第二拼接向量执行解码，将解码后的对所述第二拼接向量还原为时间域信号，得到所述偏移波形。

21、为了解决上述问题，本发明还提供一种基于基频控制的歌声转换装置，所述装置包括：

22、裁剪模块，用于对第一歌曲样本进行裁剪得到关键音高向量，对所述关键音高向量进行随机偏移，得到偏移音高向量；

23、处理模块，用于对第二歌曲样本的线性谱执行矢量化处理得到线性谱向量；

24、第一拼接模块，用于基于所述关键音高向量与所述线性谱向量得到第一拼接向量，对所述第一拼接向量执行解码，得到重构原始波形；

25、第二拼接模块，用于基于所述偏移音高向量与所述线性谱向量得到第二拼接向量，对所述第二拼接向量执行解码，得到偏移波形；

26、转换模块，用于基于所述重构原始波形、所述偏移波形与所述第二歌曲样本的原始波形，将所述第二歌曲样本转换为目标歌曲。

27、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

28、至少一个处理器；以及，

29、与所述至少一个处理器通信连接的存储器；其中，

30、所述存储器存储有可被所述至少一个处理器执行的基于基频控制的歌声转换程序，所述基于基频控制的歌声转换程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于基频控制的歌声转换方法。

31、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于基频控制的歌声转换程序，所述基于基频控制的歌声转换程序可被一个或者多个处理器执行，以实现上述基于基频控制的歌声转换方法。

32、相较现有技术，本发明对第一歌曲样本进行裁剪得到关键音高向量，对所述关键音高向量进行随机偏移，得到偏移音高向量，模拟第一歌手演唱时存在的音高变化特点，为风格迁移提供基础。

33、对第二歌曲样本的线性谱执行矢量化处理，得到包含了歌曲频谱信息的线性谱向量，基于关键音高向量与线性谱向量得到第一拼接向量，对第一拼接向量执行解码，得到重构原始波形；基于偏移音高向量与线性谱向量得到第二拼接向量，对第二拼接向量执行解码，得到偏移波形；重构原始波形和偏移波形分别代表了第一歌曲样中的第一歌手的原有音高及调整后音高下的声音表现。

34、基于重构原始波形、偏移波形与第二歌曲样本的原始波形，将第二歌曲样本转换为目标歌曲。不仅能保证转换后的歌曲保留第二歌曲样本的基本旋律，还能赋予第一歌曲样中的第一歌手的真实演唱风格和音高特点。

技术特征：

1.一种基于基频控制的歌声转换方法，其特征在于，所述方法包括：

2.如权利要求1所述的基于基频控制的歌声转换方法，其特征在于，所述对第一歌曲样本进行裁剪得到关键音高向量，包括：

3.如权利要求2所述的基于基频控制的歌声转换方法，其特征在于，在所述从第一歌曲样本的基频信号中提取初始音高向量之前，所述方法还包括：

4.如权利要求2所述的基于基频控制的歌声转换方法，其特征在于，所述裁剪所述初始音高向量中的非关键区域，得到关键音高向量，包括：

5.如权利要求1所述的基于基频控制的歌声转换方法，其特征在于，所述对第二歌曲样本的线性谱执行矢量化处理得到线性谱向量，包括：

6.如权利要求1所述的基于基频控制的歌声转换方法，其特征在于，所述对所述第一拼接向量执行解码，得到重构原始波形，包括：

7.如权利要求1所述的基于基频控制的歌声转换方法，其特征在于，所述对所述第二拼接向量执行解码，得到偏移波形，包括：

8.一种基于基频控制的歌声转换装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于基频控制的歌声转换程序，所述基于基频控制的歌声转换程序可被一个或者多个处理器执行，以实现如权利要求1至7任一项所述的基于基频控制的歌声转换方法。

技术总结本发明涉及语音数据处理领域，揭露一种基于基频控制的歌声转换方法，包括：对第一歌曲样本进行裁剪得到关键音高向量，对关键音高向量进行随机偏移，得到偏移音高向量；对第二歌曲样本的线性谱执行矢量化处理得到线性谱向量；基于关键音高向量与线性谱向量得到第一拼接向量，对第一拼接向量执行解码，得到重构原始波形；基于偏移音高向量与线性谱向量得到第二拼接向量，对第二拼接向量执行解码，得到偏移波形；基于重构原始波形、偏移波形与第二歌曲样本的原始波形，将第二歌曲样本转换为目标歌曲。本发明其目的是能够使转换出的歌声更加贴近第一歌曲样本的第一歌手的真实演唱风格和音高特点。技术研发人员：陈闽川,马骏,王少军,肖京受保护的技术使用者：平安科技（深圳）有限公司技术研发日：技术公布日：2024/5/6