跨讲话者风格转移语音合成的制作方法

背景技术：

1、文本到语音(tts)合成旨在基于文本输入来生成对应的语音波形。tts合成广泛地用于语音到语音翻译、对特定用户的语音定制、故事中的角色扮演等。传统的tts系统可以基于文本输入来预测声学特征，并进而基于所预测的声学特征来生成语音波形。

技术实现思路

1、提供本技术实现要素：以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。

2、本公开的实施例提出了用于训练声学模型的方法和装置。所述声学模型可以用于实现跨讲话者风格转移并且至少包括风格编码器。

3、在一些实施例中，可以获得训练数据，所述训练数据包括与参考音频对应的文本、讲话者标识(id)、风格id、以及声学特征。可以通过所述风格编码器，基于所述声学特征来生成参考嵌入向量。可以至少利用所述风格id和所述讲话者id对所述参考嵌入向量执行对抗训练，以去除讲话者信息并保留风格信息。可以通过所述风格编码器，至少基于所述经过对抗训练的参考嵌入向量来生成风格嵌入向量。可以至少基于与所述文本对应的状态序列、与所述讲话者id对应的讲话者嵌入向量、以及所述风格嵌入向量来生成预测的声学特征。

4、在另一些实施例中，可以获得训练数据，所述训练数据至少包括第一文本、第一讲话者id、以及与风格参考音频对应的第二文本、第二讲话者id和风格参考声学特征。可以通过所述声学模型，至少基于所述第一文本、所述第一讲话者id以及第一转移风格嵌入向量来生成第一转移声学特征，其中，所述第一转移风格嵌入向量是由所述风格编码器基于所述风格参考声学特征来生成的。可以通过所述声学模型的副本，至少基于所述第二文本、所述第二讲话者id以及第二转移风格嵌入向量来生成第二转移声学特征，其中，所述第二转移风格嵌入向量是由所述风格编码器的副本基于所述第一转移声学特征来生成的。可以利用所述风格参考声学特征和所述第二转移声学特征来计算循环重构损失。

5、应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。

技术特征：

1.一种用于训练声学模型的方法，所述声学模型用于实现跨讲话者风格转移并且至少包括风格编码器，所述方法包括：

2.如权利要求1所述的方法，其中，

3.如权利要求2所述的方法，还包括：

4.如权利要求3所述的方法，其中，

5.如权利要求2所述的方法，还包括：

6.如权利要求5所述的方法，其中，

7.如权利要求1所述的方法，其中，

8.如权利要求1所述的方法，其中，

9.如权利要求1所述的方法，其中，

10.如权利要求1所述的方法，还包括：在应用所述声学模型期间，

11.一种用于训练声学模型的装置，所述声学模型用于实现跨讲话者风格转移并且至少包括风格编码器，所述装置包括：

12.如权利要求11所述的装置，其中，

13.如权利要求12所述的装置，还包括：

14.如权利要求13所述的装置，其中，

15.如权利要求12所述的装置，还包括：

16.如权利要求15所述的装置，其中，

17.如权利要求15所述的装置，其中，

18.如权利要求15所述的装置，其中，

19.如权利要求15所述的装置，其中，

20.一种用于训练声学模型的装置，所述声学模型用于实现跨讲话者风格转移并且至少包括风格编码器，所述装置包括：

技术总结本公开提供了用于训练声学模型的方法和装置，该声学模型实现跨讲话者风格转移且至少包括风格编码器。获得训练数据，其至少包括第一文本、第一讲话者ID、以及与风格参考音频对应的第二文本、第二讲话者ID和风格参考声学特征。通过声学模型，至少基于第一文本、第一讲话者ID以及第一转移风格嵌入向量来生成第一转移声学特征，第一转移风格嵌入向量是由风格编码器基于风格参考声学特征来生成的。通过声学模型的副本，至少基于第二文本、第二讲话者ID以及第二转移风格嵌入向量来生成第二转移声学特征，第二转移风格嵌入向量是由风格编码器的副本基于第一转移声学特征来生成的。利用风格参考声学特征和第二转移声学特征来计算循环重构损失。技术研发人员：潘诗锋,何磊,马春玲受保护的技术使用者：微软技术许可有限责任公司技术研发日：技术公布日：2024/6/2