歌曲音色转换方法、计算机设备和存储介质与流程
- 国知局
- 2024-06-21 11:33:45
本技术涉及歌声合成和人工智能,特别是涉及一种歌曲音色换方法、计算机设备、存储介质和计算机程序产品。
背景技术:
1、随着计算机技术发展,歌声合成技术在虚拟偶像、音乐创作、游戏配乐等多个场景崭露出巨大的应用潜力,为了快速得到具有指定音色的合成歌声,可以通过歌声音色转换将歌曲中的原始音色转换为其他音色。
2、在相关技术中,可以使用编码器从歌声中分别提取不同的隐性特征,包括使用编码器获取只与内容相关的特征向量,使用韵律编码器获取与歌曲韵律相关的特征向量,以及使用说话编码器获取与说话人相关的特征向量,然后结合多个特征向量和解码器构建出合成歌曲的声学特征,根据该声学特征生成对应的合成歌曲。
3、然而,相关技术需要训练多个编码器才能实现歌曲音色转换,效率较为低下。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提升歌曲音色转换效率的歌曲音色转换方法、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种歌曲音色转换方法。所述方法包括:
3、对待转换歌曲进行切片处理,得到所述待转换歌曲的多个切片;
4、对所述多个切片进行处理,得到所述待转换歌曲的音高和音素后验概率;
5、将所述待转换歌曲的音高,音素后验概率输入目标音色对应的音色转换网络,得到所述目标音色对应的歌曲。
6、在其中一个实施例中,所述将所述待转换歌曲的音高,音素后验概率输入目标音色对应的音色转换网络,得到所述目标音色对应的歌曲,包括:
7、将所述待转换歌曲的音高,音素后验概率输入目标音色对应的音色转换网络,由所述音色转换网络根据所述音高,确定对应于所述音高和所述目标音色的歌曲信号骨架;
8、根据所述歌曲信号骨架和所述音素后验概率,转换并输出具有所述目标音色的歌曲。
9、在其中一个实施例中,所述目标音色对应的音色转换网络包括过滤器模块;
10、所述根据所述音高,确定对应于所述音高和所述目标音色的歌曲信号骨架,包括:
11、获取所述音高对应的基波信息,以及根据所述音高确定所述目标音色关联的谐波信息;
12、将所述基波信息和所述谐波信息输入到所述过滤器模块,由所述过滤器模块对所述基波信息和所述谐波信息进行融合,根据融合结果输出对应于所述音高和所述目标音色的歌曲信号骨架。
13、在其中一个实施例中,所述目标音色对应的音色转换网络还包括正弦信号生成器;
14、所述根据所述音高确定所述目标音色关联的谐波信息,包括:
15、将所述音高输入到正弦信号生成器,得到所述正弦信号生成器输出的正弦波信息,并将所述正弦波信息作为与所述目标音色关联的谐波信息。
16、在其中一个实施例中,所述将所述待转换歌曲的音高,音素后验概率输入目标音色对应的音色转换网络,得到所述目标音色对应的歌曲,包括:
17、获取训练好的音色转换模型;所述音色转换模型中包括多种音色各自对应的音色转换网络;
18、将目标音色、所述待转换歌曲的音高,音素后验概率输入到所述音色转换模型,由所述音色转换模型在多个音色转换网络中确定所述目标音色对应的音色转换网络,并将所述待转换歌曲的音高,音素后验概率输入到所述音色转换网络。
19、在其中一个实施例中,所述方法还包括:
20、获取多种样本音色中每种样本音色相应的第一样本歌曲;
21、根据每首所述第一样本歌曲的切片,得到每首所述第一样本歌曲的第一音高和第一音素后验概率;
22、将每首所述第一样本歌曲的第一音高和第一音素后验概率输入到原始音色转换网络,得到预测歌曲;
23、根据所述多个音色各自对应的预测歌曲和第一样本歌曲,对所述原始音色转换网络进行训练,在满足训练结束条件时,得到预训练的音色转换网络;所述预训练的音色转换网络用于构建任意目标音色对应的音色转换网络。
24、在其中一个实施例中,在得到预训练的音色转换网络之后,所述方法还包括:
25、获取具有所述目标音色的第二样本歌曲;
26、对所述第二样本歌曲的切片进行处理,得到所述第二样本歌曲的第二音高和第二音素后验概率;
27、根据所述第二音高和第二音素后验概率对所述预训练的音色转换网络进行微调,得到所述目标音色对应的音色转换网络。
28、第二方面,本技术还提供了一种歌曲音色转换方法。所述方法包括:
29、获取用户上传的歌曲样带,对所述歌曲样带进行人声和伴奏分离,并将分离得到的人声作为待转换歌曲;
30、对所述待转换歌曲进行音色转换,得到具有目标音色的歌曲;所述目标音色的歌曲根据如上任一项所述的歌曲音色转换方法转换得到;
31、将具有所述目标音色的歌曲与分离得到的伴奏进行混合,得到目标歌曲。
32、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
33、对待转换歌曲进行切片处理,得到所述待转换歌曲的多个切片;
34、对所述多个切片进行处理,得到所述待转换歌曲的音高和音素后验概率;
35、将所述待转换歌曲的音高,音素后验概率输入目标音色对应的音色转换网络,得到所述目标音色对应的歌曲。
36、第四方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
37、获取用户上传的歌曲样带,对所述歌曲样带进行人声和伴奏分离,并将分离得到的人声作为待转换歌曲;
38、对所述待转换歌曲进行音色转换,得到具有目标音色的歌曲;所述目标音色的歌曲根据如上任一项所述的歌曲音色转换方法转换得到;
39、将具有所述目标音色的歌曲与分离得到的伴奏进行混合,得到目标歌曲。
40、第五方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
41、对待转换歌曲进行切片处理,得到所述待转换歌曲的多个切片;
42、对所述多个切片进行处理,得到所述待转换歌曲的音高和音素后验概率;
43、将所述待转换歌曲的音高,音素后验概率输入目标音色对应的音色转换网络,得到所述目标音色对应的歌曲。
44、第六方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
45、获取用户上传的歌曲样带,对所述歌曲样带进行人声和伴奏分离,并将分离得到的人声作为待转换歌曲;
46、对所述待转换歌曲进行音色转换,得到具有目标音色的歌曲;所述目标音色的歌曲根据如上任一项所述的歌曲音色转换方法转换得到;
47、将具有所述目标音色的歌曲与分离得到的伴奏进行混合,得到目标歌曲。
48、第七方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
49、对待转换歌曲进行切片处理,得到所述待转换歌曲的多个切片;
50、对所述多个切片进行处理,得到所述待转换歌曲的音高和音素后验概率;
51、将所述待转换歌曲的音高,音素后验概率输入目标音色对应的音色转换网络,得到所述目标音色对应的歌曲。
52、第八方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
53、获取用户上传的歌曲样带,对所述歌曲样带进行人声和伴奏分离,并将分离得到的人声作为待转换歌曲;
54、对所述待转换歌曲进行音色转换,得到具有目标音色的歌曲;所述目标音色的歌曲根据如上任一项所述的歌曲音色转换方法转换得到;
55、将具有所述目标音色的歌曲与分离得到的伴奏进行混合,得到目标歌曲。
56、上述歌曲音色转换方法、计算机设备、存储介质和计算机程序产品,可以对待转换歌曲进行切片处理,得到待转换歌曲的多个切片,然后对多个切片进行处理,得到待转换歌曲的音高和音素后验概率,进而将待转换歌曲的音高以及音素后验概率输入目标音色对应的音色转换网络,得到目标音色对应的歌曲。在本技术中,通过将待转换歌曲的音高和音素后验概率输入到目标音色对应的音色转换网络,即可转换得到具有目标音色的歌曲,无需对多个编码器进行训练,有效简化音色转换的处理过程,提高音色转换效率。
本文地址:https://www.jishuxx.com/zhuanli/20240618/22250.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表