语音合成方法、模型训练方法、装置、设备及存储介质与流程

本技术涉及语音合成，尤其涉及一种语音合成方法、模型训练方法、装置、设备及存储介质。

背景技术：

1、传统的语音合成系统在基于文本合成语音时，通常是对文本分词后针对分词结果分别进行语音建模，然后将分词对应的语音建模结果进行拼接得到合成语音。上述的方案主要借助分词与语音或音素的映射关系而实现语音合成。但是，语音中包含非常丰富的语义信息，例如一句相同的文本，发音停顿重度的不同会传达不同的语义。而现有的语音合成系统，仅仅是实现了文本到语音的映射，往往不能准确传达语音中丰富的语义信息。

技术实现思路

1、基于上述技术现状，本技术提出一种语音合成方法、模型训练方法、装置、设备及存储介质，能够使合成的语音包含更加丰富且准确的语义信息，从而提高合成语音的可懂度和自然度。

2、为了达到上述技术目的，本技术提出如下技术方案：

3、一种语音合成方法，包括

4、获取待合成文本对应的字音特征和韵律特征，以及，通过预先训练的编码模型，提取所述待合成文本的语义特征；

5、基于所述字音特征、所述韵律特征和所述语义特征，生成与所述待合成文本相匹配的语音；

6、其中，所述编码模型通过对第一训练样本进行语义特征提取训练得到，所述第一训练样本包括第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征；所述语义特征提取训练，以使得所述编码模型能够正确提取所述第一文本样本的文本特征和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息，为目标。

7、可选的，所述获取待合成文本对应的字音特征和韵律特征，包括；

8、通过预先训练的字音和韵律预测模型，从所述待合成文本中提取字音特征和韵律特征；

9、其中，所述字音和韵律预测模型，通过对所述编码模型进行基于文本的字音和韵律预测训练得到。

10、可选的，所述编码模型的训练过程，包括：

11、对所述第一训练样本中的第一文本样本和/或第一语音样本的声学特征进行随机掩盖后输入所述编码模型，以使所述编码模型预测被掩盖的字符和/或声学特征；

12、以使所述编码模型能够正确预测被掩盖的字符和/或声学特征，以及能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正。

13、可选的，以使所述编码模型能够正确预测被掩盖的字符和/或声学特征，以及能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：

14、获取所述编码模型通过预测被掩盖的字符和/或声学特征而得到的预测文本和/或预测声学特征，以及，获取所述编码模型输出的预测韵律信息；

15、以所述编码模型能够正确预测所述第一文本样本和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正。

16、可选的，以所述编码模型能够正确预测所述第一文本样本和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息为目标，对所述编码模型进行参数修正，包括：

17、从所述编码模型输出的预测文本中确定出对应所述第一文本样本中被掩盖字符的预测字符，和/或，从所述编码模型输出的预测声学特征中，确定出对应所述第一语音样本的声学特征中被掩盖的声学特征的预测声学特征；

18、根据所述预测字符与所述被掩盖的字符，和/或根据所述预测声学特征与所述被掩盖的声学特征，计算得到掩码预测损失；以及，根据所述编码模型输出的预测韵律信息与所述第一语音样本的韵律标签，计算得到韵律预测损失；

19、以降低所述掩码预测损失和所述韵律预测损失为目标，对所述编码模型进行参数修正。

20、可选的，对所述第一训练样本中的第一文本样本和/或第一语音样本的声学特征进行随机掩盖后输入所述编码模型，以使所述编码模型预测被掩盖的字符和/或声学特征，包括：

21、将所述第一文本样本和所述第一语音样本的声学特征中对应相同位置的字符和声学特征分别进行掩盖，并将掩盖后的所述第一文本样本和所述第一语言样本的声学特征输入所述编码模型，以使所述编码模型预测被掩盖的字符和被掩盖的声学特征；

22、和/或，

23、将所述第一文本样本和所述第一语音样本中对应相同位置的字符和声学特征分别进行掩盖，并将掩盖后的所述第一文本样本输入所述编码模型，以使所述编码模型预测被掩盖的声学特征；

24、和/或，

25、对所述第一语音样本的声学特征进行随机掩盖后，将所述第一文本样本和掩盖后的所述第一语音样本的声学特征，输入所述编码模型，以使所述编码模型预测被掩盖的声学特征。

26、可选的，所述编码模型输出的预测韵律信息，包括语音停顿信息和/或字符时长信息。

27、可选的，所述第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征，通过如下处理得到：

28、获取第一文本样本以及与所述第一文本样本平行的第一语音样本；

29、通过对所述第一文本样本与所述第一语音样本进行字符级别的数据对齐处理，从所述第一语音样本中确定出与所述第一文本样本中的每个字符对应的语音片段；

30、分别确定所述第一文本样本中的每个字符对应的语音片段的声学特征，得到所述第一语音样本的声学特征序列。

31、可选的，确定所述第一文本样本中的每个字符对应的语音片段的声学特征，包括：

32、将所述第一文本样本中的字符对应的语音片段输入语音声学编码模型，得到所述语音声学编码模型输出的编码特征；

33、将所述编码特征输入语音声学解码模型，得到所述语音声学解码模型输出的重建语音片段；

34、基于该重建语音片段与输入所述语音声学编码模型的语音片段的差异，对所述语音声学编码模型进行参数校正，直至当所述语音声学解码模型输出的重建语音片段与输入所述语音声学编码模型的语音片段的差异小于设定阈值时，将所述语音声学编码模型输出的编码特征，确定为输入所述语音声学编码模型的语音片段的声学特征。

35、可选的，所述语音声学编码模型输出的编码特征为128维的编码特征。

36、一种模型训练方法，包括：

37、将第一训练样本输入编码模型，对所述编码模型进行语义特征提取训练；

38、其中，所述第一训练样本包括第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征；所述编码模型提取的语义特征用于生成语音；

39、所述语义特征提取训练，以使得所述编码模型能够正确提取所述第一文本样本的文本特征和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息，为目标。

40、一种语音合成装置，包括：

41、特征提取单元，用于获取待合成文本对应的字音特征和韵律特征，以及，通过预先训练的编码模型，提取所述待合成文本的语义特征；

42、语音合成单元，用于基于所述字音特征、所述韵律特征和所述语义特征，生成与所述待合成文本相匹配的语音；

43、其中，所述编码模型通过对第一训练样本进行语义特征提取训练得到，所述第一训练样本包括第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征；所述语义特征提取训练，以使得所述编码模型能够正确提取所述第一文本样本的文本特征和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息，为目标。

44、一种模型训练装置，包括：

45、训练模块，用于将第一训练样本输入编码模型，对所述编码模型进行语义特征提取训练；

46、其中，所述第一训练样本包括第一文本样本以及与所述第一文本样本平行的第一语音样本的声学特征；所述编码模型提取的语义特征用于生成语音；

47、所述语义特征提取训练，以使得所述编码模型能够正确提取所述第一文本样本的文本特征和/或所述第一语音样本的声学特征，以及，能够正确预测所述第一语音样本的韵律信息，为目标。

48、一种电子设备，包括：

49、存储器和处理器；

50、所述存储器与所述处理器连接，用于存储程序；

51、所述处理器，用于通过运行所述存储器中的程序，实现上述的语音合成方法，或者实现上述的模型训练方法。

52、一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现上述的语音合成方法，或者实现上述的模型训练方法。

53、本技术提出的语音合成方法及模型训练方法，通过对编码模型进行训练，使得编码模型在对输入的文本进行编码获取其语义特征时，能够同步提取文本中所蕴含的韵律信息，也就是在从文本中提取语义特征时，能够提取得到耦合了韵律信息的语义特征。另外，上述的编码模型训练过程为文本和语音双模训练，该训练过程可以使得编码模型深入挖掘文本和语音之间的相关性，从而能够更加准确地从文本中挖掘与语音相关的语义信息。

54、从而，将该编码模型对文本进行编码得到的语义特征用于语音合成，能够使得合成的语音包含准确的韵律信息和语义信息，从而能够通过语音更加准确、丰富地体现文本语义，提高生成的语音的可懂度和自然度。