一种基于深度学习的语音合成系统及方法与流程

本发明属于语音合成，具体涉及一种基于深度学习的语音合成系统及方法。

背景技术：

1、早期的语音合成技术存在很多局限性，包括音质、自然度等方面的不足，无法达到人类语音的水平；随着科技的进步和深度学习等新兴技术的发展，现在的语音合成技术已经取得了显著的进步，能够生成自然度较高、音质较好的语音。

2、目前的语音合成技术主要分为两个阶段：文本分析和语音合成；文本分析阶段主要包括对输入文本进行句子分割、单词分割、语音部分(pos)标注等预处理工作，然后将处理后的文本转化为语音合成阶段的输入。

3、在语音合成阶段，系统将文本分析阶段的输出(grapheme-to-phoneme，g2p)转化为语音波形；这一阶段通常采用深度神经网络(dnn)或卷积神经网络(cnn)来训练模型，并利用训练好的模型生成语音波形。

4、近几年来，随着人工智能和人机交互的快速发展，人们对于语音合成技术的需求也日益增加；对于机器来说，能够像人类一样自然地发出声音，成为了人机交互中一个重要的挑战；因此，对于更高自然度的语音合成技术的需求也更加迫切。

5、现有的语音合成系统大多针对单一语言或者需要繁琐的预处理步骤，无法直接应用于多种语言，或者在处理不同语言时需要大量的人工干预，这大大降低了其效率和实用性；此外，现有的技术对语音的合成质量也有待提高。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的语音合成系统及方法，能够自适应多种语言，无需针对每种语言单独训练模型。

2、为实现上述目的，本发明提供如下技术方案：一种基于深度学习的语音合成系统，包括

3、声学模型，所述声学模型采用深度神经网络或卷积神经网络构建，用于接受语言无关的特征输入，并输出对应的语音波形；

4、参数调整模块，所述参数调整模块针对特定语言的发音特性进行调整，使合成的语音更符合目标语言的发音规则；

5、数据预处理模块，所述数据预处理模块处理语音数据，并将其转化为适合声学模型输入的格式，同时进行标注和分类，为训练声学模型提供充足的数据资源；

6、训练及合成模块，所述训练及合成模块训练声学模型和参数调整模块，并使用训练好的声学模型进行语音合成。

7、作为本发明的一种优选的技术方案，所述声学模型接受语言无关的特征输入，包括梅尔频率倒谱系数、线性预测编码。

8、作为本发明的一种优选的技术方案，在训练过程中，采用监督学习的方式；首先，收集多种语言的语音数据，包括发音、语调、语速的信息，并将其转化为适合深度神经网络模型输入的格式；然后，使用这些数据对深度神经网络模型进行训练，通过反向传播算法优化模型的参数，以最小化合成语音与目标语音之间的差异。

9、作为本发明的一种优选的技术方案，反向传播算法包括以下步骤：

10、前向传播：首先，模型接收输入数据，并根据当前的参数计算输出；

11、计算损失：将模型的输出与真实的目标值进行比较，计算两者之间的差异，得到损失值；

12、反向传播：从输出层开始，根据损失值计算每一层的误差梯度；这个过程通过链式法则来完成的，逐层地向前计算每一层的参数对损失的梯度；

13、参数更新：使用优化算法根据计算得到的梯度对每一层的参数进行更新。

14、作为本发明的一种优选的技术方案，在语音合成阶段，首先将待合成的文本转化为语音特征，然后将这些特征输入到训练好的深度神经网络模型中，得到相应的语音波形；最后，通过对语音波形的处理，得到最终的合成语音。

15、作为本发明的一种优选的技术方案，在对语音波形的处理上，采用以下方法：

16、预处理：对原始语音波形进行预加重、分帧和加窗操作，得到适合模型输入的特征；

17、特征提取：提取语音波形的声学特征，包括梅尔频率倒谱系数、线性预测系数；

18、波形合成：根据声学模型和语言特定参数调整模块的输出，使用波形合成技术griffin-lim算法以及wavenet，生成最终的语音波形。

19、作为本发明的一种优选的技术方案，处理语音数据并将其转化为适合声学模型输入的格式，同时进行标注和分类，具体方法如下：

20、数据清洗：去除语音数据中的噪声、干扰和其他不良数据；

21、特征提取：从语音信号中提取有用的特征；

22、标注和分类：对语音数据进行标注和分类，标注包括语音转录、音素标注、词组标注，分类按照语言、发音风格、性别进行；

23、数据格式转换：将提取的特征和标注信息转化为适合声学模型输入的格式，包括将数据组织成适合神经网络输入的形状；

24、数据扩充：通过数据扩充技术，增加训练数据的数量和多样性；

25、数据归一化：将特征值归一化到统一的尺度上。

26、本发明还公开了一种基于深度学习的语音合成方法，所述语音合成方法如下：

27、步骤一：收集多种语言的语音数据，包括发音、语调、语速的信息，并将其转化为适合深度神经网络模型输入的格式；

28、步骤二：使用这些数据对深度神经网络模型进行训练；

29、步骤三：通过反向传播算法优化模型的参数，以最小化合成语音与目标语音之间的差异；

30、步骤四：将待合成的文本转化为语音特征，然后将这些特征输入到训练好的深度神经网络模型中，得到相应的语音波形；

31、步骤五：通过对语音波形的处理，得到最终的合成语音。

32、与现有技术相比，本发明的有益效果是：

33、相较于现有的独立语音合成技术，本发明首次提出了一个综合性的系统方法，将多个关键技术环节整合在一个统一的框架中，实现了从数据预处理到语音波形处理的完整流程；

34、现有技术往往针对单一语言进行语音合成，而本发明能够自适应多种语言，无需针对每种语言单独训练模型，这在语音合成领域具有创新性；

35、本发明将深度学习技术应用于语音合成的各个环节，并通过迁移学习技术，将在大规模数据集上预训练的模型迁移到特定任务上，从而加速模型收敛，提高性能，这一结合方式在语音合成领域具有独特性和先进性；

36、本发明的自适应参数调整模块能够根据不同语言的发音特性进行动态调整，使合成的语音更符合目标语言的发音规则，这种自适应调整策略在保证合成质量的同时，也能灵活适应多种语言，为语音合成领域带来了创新性的解决方案；

37、本发明通过端到端的协同优化策略，实现了整个语音合成系统的全局最优，这种优化策略综合考虑了各个环节之间的相互影响，从而提高了整体性能，为语音合成技术的发展带来了新的思路；

38、本发明为语音合成技术的发展注入了新的活力，并有望推动相关领域的进步与发展。

技术特征：

1.一种基于深度学习的语音合成系统，其特征在于：包括

2.根据权利要求1所述的一种基于深度学习的语音合成系统，其特征在于：所述声学模型接受语言无关的特征输入，包括梅尔频率倒谱系数、线性预测编码。

3.根据权利要求1所述的一种基于深度学习的语音合成系统，其特征在于：在训练过程中，采用监督学习的方式；首先，收集多种语言的语音数据，包括发音、语调、语速的信息，并将其转化为适合深度神经网络模型输入的格式；然后，使用这些数据对深度神经网络模型进行训练，通过反向传播算法优化模型的参数，以最小化合成语音与目标语音之间的差异。

4.根据权利要求3所述的一种基于深度学习的语音合成系统，其特征在于：反向传播算法包括以下步骤：

5.根据权利要求1所述的一种基于深度学习的语音合成系统，其特征在于：在语音合成阶段，首先将待合成的文本转化为语音特征，然后将这些特征输入到训练好的深度神经网络模型中，得到相应的语音波形；最后，通过对语音波形的处理，得到最终的合成语音。

6.根据权利要求1所述的一种基于深度学习的语音合成系统，其特征在于：在对语音波形的处理上，采用以下方法：

7.根据权利要求1所述的一种基于深度学习的语音合成系统，其特征在于：处理语音数据并将其转化为适合声学模型输入的格式，同时进行标注和分类，具体方法如下：

8.一种基于深度学习的语音合成方法，其特征在于：包括如权利要求1-7任一项所述系统中的深度神经网络，所述语音合成方法如下：

技术总结本发明公开了一种基于深度学习的语音合成系统及方法，包括声学模型，所述声学模型采用深度神经网络或卷积神经网络构建，用于接受语言无关的特征输入，并输出对应的语音波形；参数调整模块，所述参数调整模块针对特定语言的发音特性进行调整，使合成的语音更符合目标语言的发音规则；数据预处理模块，所述数据预处理模块处理语音数据，并将其转化为适合声学模型输入的格式，同时进行标注和分类，为训练声学模型提供充足的数据资源；本发明的有益效果是：将多个关键技术环节整合在一个统一的框架中，实现了从数据预处理到语音波形处理的完整流程；本发明能够自适应多种语言，无需针对每种语言单独训练模型，这在语音合成领域具有创新性。技术研发人员：罗茂受保护的技术使用者：成都天翼空间科技有限公司技术研发日：技术公布日：2024/3/11