语音合成方法、装置、设备及存储介质与流程

本申请涉及计算机，尤其涉及一种语音合成方法、装置、设备及存储介质。

背景技术：

1、语音合成可以将文本信息转变为可以听得懂的、流利的语音输出。通常，可以使用训练语料训练语音合成系统，使用训练后的语音合成系统进行语音合成。在一些场景中，在训练语音合成系统时，可能出现训练语料不足的情况，导致语音合成系统的鲁棒性较差，对出现频率较低的发音或未出现过的发音，无法正确合成。

技术实现思路

1、本申请实施例的目的是提供一种语音合成方法，以对出现频率较低的发音或未出现过的发音进行正确合成。

2、第一方面，本申请实施例提供一种语音合成方法，所述方法包括：

3、将待合成语音的文本序列输入到音素预测模型中，得到所述文本序列对应的音素序列；其中，所述音素预测模型用于预测所述文本序列对应的音素序列，其预先训练得到；所述音素序列中包括字母符号和声调符号；

4、将所述音素序列拆分为多维序列；其中，所述多维序列至少包括：字母序列和声调序列，所述字母序列由所述音素序列中的字母符号组成，所述声调序列由所述音素序列中的声调符号组成，所述字母序列中的字母符号与所述声调序列中的声调符号一一对应；

5、将所述多维序列输入到声学模型中，预测所述音素序列对应的语音特征；其中，所述声学模型用于根据所述多维序列预测所述音素序列对应的语音特征，其基于音素序列样本拆分得到的多维序列预先训练得到；

6、将所述音素序列对应的语音特征输入到声码器中，得到所述文本序列对应的语音。

7、第二方面，本申请实施例提供一种语音合成装置，所述装置包括：

8、音素预测模块，用于将待合成语音的文本序列输入到音素预测模型中，得到所述文本序列对应的音素序列；其中，所述音素预测模型用于预测所述文本序列对应的音素序列，其预先训练得到；所述音素序列中包括字母符号和声调符号；

9、拆分模块，用于将所述音素序列拆分为多维序列；其中，所述多维序列至少包括：字母序列和声调序列，所述字母序列由所述音素序列中的字母符号组成，所述声调序列由所述音素序列中的声调符号组成，所述字母序列中的字母符号与所述声调序列中的声调符号一一对应；

10、语音特征预测模块，用于将所述多维序列输入到声学模型中，预测所述音素序列对应的语音特征；其中，所述声学模型用于根据所述多维序列预测所述音素序列对应的语音特征，其基于音素序列样本拆分得到的多维序列预先训练得到；

11、语音合成模块，用于将所述音素序列对应的语音特征输入到声码器中，得到所述文本序列对应的语音。

12、第三方面，本申请实施例提供一种计算机设备，所述计算机设备包括：

13、处理器；以及

14、被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如前述实施例提供的语音合成方法。

15、第四方面，本申请实施例提供一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现如前述实施例提供的语音合成方法。

技术特征：

1.一种语音合成方法，所述方法包括：

2.根据权利要求1所述的语音合成方法，所述将所述音素序列拆分为多维序列，包括：

3.根据权利要求2所述的语音合成方法，预先训练所述第一声学模型的方法包括：

4.根据权利要求1所述的语音合成方法，在所述将所述音素序列拆分为多维序列之前，所述方法还包括：

5.根据权利要求4所述的语音合成方法，预先训练所述变调预测模型的方法包括：

6.根据权利要求4所述的语音合成方法，所述将所述音素序列拆分为多维序列，包括：

7.根据权利要求6所述的语音合成方法，预先训练所述第二声学模型的方法包括：

8.一种语音合成装置，所述装置包括：

9.一种计算机设备，所述计算机设备包括：

10.一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下如权利要求1-7任一项所述的语音合成方法。

技术总结本申请实施例提供一种语音合成方法、装置、设备及存储介质，其中方法包括：将待合成语音的文本序列输入到音素预测模型中，得到所述文本序列对应的音素序列；将所述音素序列拆分为多维序列；其中，所述多维序列包括：字母序列和声调序列，所述字母序列由所述音素序列中的字母符号组成，所述声调序列由所述音素序列中的声调符号组成；将所述多维序列输入到声学模型中，预测所述音素序列对应的语音特征；其中，所述声学模型用于根据所述多维序列预测所述音素序列对应的语音特征，其基于音素序列样本拆分得到的多维序列预先训练得到；将所述音素序列对应的语音特征输入到声码器中，得到所述文本序列对应的语音。技术研发人员：王涛,王志铭受保护的技术使用者：支付宝（杭州）信息技术有限公司技术研发日：技术公布日：2024/2/1