语音合成模型训练方法、语音合成方法、电子设备及存储介质与流程

本技术涉及多媒体内容处理的，具体地涉及语音合成模型训练方法、语音合成方法、语音合成模型训练装置、语音合成装置、电子设备及存储介质。

背景技术：

1、语音合成技术是一种将文本转换成语音的技术，可以通过神经网络模型实现文本转语音功能。当前的文字生成语音模型中，仅对输入的当前文本进行语音转换，生成的语音难以和整体文本语义、韵律、情感契合，造成说话人声音不符合情景，还造成发音前后衔接不顺畅的问题。

2、此背景技术的说明旨在帮助理解相关领域内的相关技术，并不代表承认背景技术内容属于现有技术。

技术实现思路

1、因此，本技术实施例意图提供一种语音合成模型训练方法、语音合成方法以及相关的电子设备及存储介质。通过本技术实施例的方案，可以基于上下文的文字理解，捕捉当前场景的韵律、音律和情感，使得生成的语音更加符合真实场景。

2、第一方面，本技术实施例提供了语音合成模型训练方法，包括如下步骤：

3、获取初始训练数据，其中，所述初始训练数据包括连贯文本和对应的连贯音频；

4、从所述连贯文本中选取多个第一文本段、多个位于第一文本段前与所述第一文本段相邻的第二文本段、多个位于第一文本段后与所述第一文本段相邻的第三文本段，并从所述连贯音频中获取与所述多个第一文本段、第二文本段和第三文本段分别对应的多个第一音频段、第二音频段、第三音频段；

5、检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件；

6、将满足可拼接条件的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段，按照文本顺序，以文本和音频交替的方式拼接得到组合训练数据，以生成包括多个所述组合训练数据的组合训练数据集；

7、根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，在所述训练中所述第二文本段和/或所述第三文本段中的韵律、音律和/或情感特征被提取。

8、本技术的一些实施例中，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：

9、获取所述第一文本段、第二文本段和第三文本段的组合文本长度，获取所述第一音频段、第二音频段和第三音频段的组合音频时长，当组合文本长度小于长度阈值且组合音频时长小于时长阈值时，所述第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段对应的文本、语音满足第一可拼接条件。

10、本技术的一些实施例中，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：

11、获取第一音频段、第二音频段和第三音频段相互之间的声纹特征近似度，当声纹特征近似度大于声纹近似阈值时，所述第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段对应的文本、语音满足第二可拼接条件。

12、本技术的一些实施例中，所述检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件，包括：

13、当所述第一音频段、第二音频段和第三音频段中相邻音频段的发声时间点间距小于间隔阈值时，所述第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段对应的文本、语音满足第三可拼接条件。

14、本技术的一些实施例中，所述按照文本顺序，以文本和音频交替的方式拼接得到组合训练数据，包括：

15、对所述第一文本段、第二文本段和第三文本段进行分词处理，生成第一文本序列、第二文本序列和第三文本序列，对所述第一文本序列、第二文本序列和第三文本序列进行向量转换，生成第一文本向量、第二文本向量和第三文本向量；

16、对所述第一音频段、第二音频段和第三音频段进行离散化处理并提取音频特征，生成第一音频特征序列、第二音频特征序列和第三音频特征序列，对所述第一音频特征序列、第二音频特征序列和第三音频特征序列进行向量转换，生成第一音频向量、第二音频向量和第三音频向量；

17、按照第二文本向量、第二音频特征序列、第一文本向量、第一音频特征序列、第三文本向量、第三音频特征序列的顺序，对所述第二文本向量、第二音频特征序列、第一文本向量、第一音频特征序列、第三文本向量和第三音频特征序列进行向量拼接，生成所述组合训练数据。

18、本技术的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：

19、将所述组合训练数据集中的组合训练数据迭代输入到所述初始语音合成模型，获取与所述第一文本段对应的第一输出音频段，根据所述第一输出音频段和第一音频段的音频特征，计算第一损失值，根据所述第一损失值调整所述初始语音合成模型的模型参数，直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型。

20、本技术的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：

21、将所述组合训练数据集中的组合训练数据输入到所述初始语音合成模型，获取与所述第二文本段对应的第二输出音频段，根据所述第二输出音频段和第二音频段的音频特征，计算第二损失值，根据所述第二损失值调整所述初始语音合成模型的模型参数，迭代更新直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型；

22、本技术的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：

23、将所述组合训练数据集中的组合训练数据迭代输入到所述初始语音合成模型，获取与所述第三文本段对应的第三输出音频段，根据所述第三输出音频段和第三音频段的音频特征，计算第三损失值，根据所述第三损失值调整所述初始语音合成模型的模型参数，直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型。

24、本技术的一些实施例中，所述根据所述组合训练数据集，对初始语音合成模型进行训练，得到训练好的语音合成模型，包括：

25、将所述组合训练数据集中的组合训练数据迭代输入到所述初始语音合成模型，获取与所述第一文本段对应的第一输出音频段、与所述第二文本段对应的第二输出音频段和与所述第三文本段对应的第三输出音频段；根据所述第一输出音频段和第一音频段的音频特征，计算第一损失值，根据所述第二输出音频段和第二音频段的音频特征，计算第二损失值，根据所述第三输出音频段和第三音频段的音频特征，计算第三损失值，根据第一损失值、第二损失值和第三损失值获取第四损失值；根据所述第四损失值调整所述初始语音合成模型的模型参数，直至所述初始语音合成模型收敛，将收敛的初始语音合成模型作为所述训练好的语音合成模型。

26、第二方面，本技术实施例提供了语音合成方法，其可包括：

27、获取目标文本，将所述目标文本按照文本顺序分成多个目标文本段；

28、将所述多个目标文本段中的首个目标文本段输入到训练好的目标语音合成模型中，获得首个目标音频段；

29、根据所述首个目标文本段和所述首个目标音频段拼接得到文本-音频交替序列；

30、循环执行如下步骤直至获取最后目标文本段对应的最后目标音频段：获取下一目标文本段，将所述下一目标文本段添加到所述文本-音频交替序列以对所述文本-音频交替序列进行更新；将文本-音频交替序列输入到所述训练好的语音合成模型以获取对应所述下一目标文本段且提取了其他目标文本段的韵律、音律和/或情感声学特征的下一目标音频段，将所述下一目标音频段添加到所述文本-音频交替序列以对所述文本-音频交替序列进行更新；

31、将各个目标音频段进行拼接处理，生成目标音频。

32、在本技术另一些实施例中，提供了又一可行的语音合成方法，其可包括：

33、获取目标文本，将所述目标文本按照文本顺序分成多个目标文本段；

34、将所述多个目标文本段中的最后目标文本段输入到训练好的目标语音合成模型中，获得最后目标音频段；

35、根据所述最后目标文本段和所述最后目标音频段拼接得到文本-音频交替序列；

36、循环执行如下步骤直至获取首个目标文本段对应的首个目标音频段：获取前一目标文本段，将所述前一目标文本段添加到所述文本-音频交替序列以对所述文本-音频交替序列进行更新；将文本-音频交替序列输入到所述训练好的目标语音合成模型以获取对应所述前一目标文本段且提取了其他目标文本段的韵律、音律和/或情感声学特征的前一目标音频段，将所述前一目标音频段添加到所述文本-音频交替序列尾部以对所述文本-音频交替序列进行更新；

37、将各个目标音频段进行拼接处理，生成目标音频。

38、第三方面，本技术实施例提供语音合成模型，包括编码器、解码器，其中所述语音合成模型由本技术任一实施例中的训练方法训练得到。

39、第四方面，本技术实施例提供语音合成模型训练装置，包括训练集数据获取模块、预处理模块、拼接检测模块、向量拼接模块和训练模块，其中，

40、所述训练集数据获取模块被配置为获取训练集数据，其中，所述训练集数据包括连贯文本和对应的连贯音频；

41、所述预处理模块被配置为从所述连贯文本中选取多个第一文本段、多个位于第一文本段前与所述第一文本段相邻的第二文本段、多个位于第一文本段后与所述第一文本段相邻的第三文本段，并从所述连贯音频中获取与所述多个第一文本段、第二文本段和第三文本段分别对应的多个第一音频段、第二音频段、第三音频段；

42、所述拼接检测模块被配置为检测所述多个第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段对应的文本、语音是否满足可拼接条件；

43、所述向量拼接模块被配置为将满足可拼接条件的多个第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段，按照文本顺序，以文本和音频交替的方式拼接生成组合训练数据集，其中，所述组合训练数据集包括多个组合训练数据；

44、所述训练模块被配置为根据所述组合训练数据集，对所述初始语音合成模型进行训练，得到训练好的语音合成模型。

45、第五方面，本技术实施例提供语音合成装置，包括目标文本获取模块、初始生成模块、文本-音频拼接模块、循环生成模块和音频拼接模块，其中，

46、所述目标文本获取模块被配置为获取目标文本，将所述目标文本按照文本顺序分成多个目标文本段；

47、所述初始生成模块被配置为获取所述多个目标文本段中首个目标文本段，将所述首个目标文本段对应的向量输入到训练好的目标语音合成模型中，获得首个目标音频段；

48、所述文本-音频拼接模块被配置为根据所述首个目标文本段和所述首个目标音频段拼接生成文本-音频交替序列；

49、所述循环生成模块被配置为循环获取下一目标文本段，将所述下一目标文本段添加到所述文本-音频交替序列尾部以对所述文本-音频交替序列进行更新；将文本-音频交替序列对应的向量输入到所述训练好的目标语音合成模型，获取下一目标音频段，将所述下一目标音频段添加到所述文本-音频交替序列尾部以对所述文本-音频交替序列进行更新，直至获取最后目标文本段对应的最后目标音频段；

50、所述音频拼接模块被配置为将各个目标音频段进行拼接处理，生成目标音频。

51、第六方面，本技术实施例提供计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时，实现任一本技术实施例的方法。

52、第七方面，本技术实施例提供电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行任一本技术实施例的方法。

53、本技术方案提供了语音合成模型训练方法，将训练文本的上一段文本和下一段文本和对应的训练语音数据组成样本组，判断能够拼接后，将样本组转换成向量输入到初始语音合成模型，对初始语音合成模型进行训练，生成训练好的语音合成模型，所生成的训练好的语音合成模型在进行语音合成过程中，能够利用文本的上下文进行文字理解，捕捉场景中的韵律和情感，同时也能够对上下文对应的语音进行理解，获取场景的音律和情感，从而最终输出的生成语音信息更加符合情景，也能与上下文的语音衔接顺畅，将训练数据中的较短音频拼在一起加长，提高训练效率，充分利用数据。本技术方案还提供了语音识别方法，将目标文本分成多段，先利用训练好的语音合成模型对首段文本进行语音合成，然后将生成的首个音频段与首段文本进行组合形成文本-音频序列，对后续的文本段，迭代执行语音合成，要识别的当前文本段加入到文本-音频序列中，获取对应音频段，也将最新获取的音频段加入到文本-音频序列中，为下一段文本段提供上下文文本和音频，直至最后的文本段生成音频段，然后将生成的音频段拼接，最终生成目标音频。在本技术一些实施例中也可从最后段开始语音合成，然后将生成的音频段拼接，直至首个文本段生成音频段生成目标音频，然后将生成的音频段拼接，最终生成目标音频。本技术实施例的语音合成过程中，利用了上下文的文字理解和语音理解，生成的音频能够附带当前场景的韵律、音律和情感，使得语音合成更加符合情景，提升了角色说话或对话的真实感。本技术实施例中的方案，可以利用现有的语音合成模型框架进行语音模型训练和语音合成，技术成熟可靠性高，操作方便，具有较高的实际应用价值。

54、本技术实施例的其他可选特征和技术效果一部分在下文描述，一部分可通过阅读本文而明白。