戏曲语音转化的方法、装置、电子设备及存储介质与流程

本申请涉及语音转化，尤其涉及一种戏曲语音转化的方法、装置、电子设备及存储介质。

背景技术：

1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、语音转换是一种改变说话人音色而保持语义信息不变的技术，可用于影视剧配音、隐私保护和个性化语音合成等领域。随着语音转换技术不断发展，出现了越来越多的需求希望不仅能转换语音，也能转换其他种类的音频，如戏曲转换。戏曲表现力强、韵律变化大、音质要求高，对转换模型提出了极大的挑战，现有的语音转换模型无法直接应用于戏曲转换。

技术实现思路

1、有鉴于此，本申请的目的在于提出一种戏曲语音转化的方法、装置、电子设备及存储介质，用以解决或部分解决上述背景技术中的问题。

2、基于上述目的，本申请提供了一种戏曲语音转化的方法，包括：

3、获取第一戏曲音频信息，并获取目标音色及风格标识，其中，所述第一戏曲音频信息为待转化的戏曲音频信息；

4、获取所述第一戏曲音频信息的多层特征；

5、通过多层特征获取所述第一戏曲音频信息的内容特征和韵律特征；

6、通过训练获得的先验编码器并基于所述目标音色及风格标识、所述内容特征和所述韵律特征，得到目标隐层表征；

7、将所述目标隐层表征和所述韵律特征输入到训练获得的解码器中，得到第二戏曲音频信息。

8、基于同一发明构思，本申请示例性实施例还提供了一种戏曲语音转化的装置，包括：

9、第一获取模块，获取第一戏曲音频信息，并获取目标音色及风格标识，其中，所述第一戏曲音频信息为待转化的戏曲音频信息；

10、第二获取模块，获取所述第一戏曲音频信息的多层特征；

11、第三获取模块，通过多层特征获取所述第一戏曲音频信息的内容特征和韵律特征；

12、表征模块，通过训练获得的先验编码器并基于所述目标音色及风格标识、所述内容特征和所述韵律特征，得到目标隐层表征；

13、戏曲转化模块，将所述目标隐层表征和所述韵律特征输入到训练获得的解码器中，得到第二戏曲音频信息。

14、基于同一发明构思，本申请示例性实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器执行所述程序时实现如上所述的戏曲语音转化的方法。

15、基于同一发明构思，本申请示例性实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的戏曲语音转化的方法。

16、基于同一发明构思，本申请示例性实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序由一个或多个处理器执行以使得所述处理器执行如上所述的游戏声音的调节方法。

17、从上面所述可以看出，本申请提供的戏曲语音转化的方法、装置、电子设备及存储介质，获取第一戏曲音频信息，并获取目标音色及风格标识，其中，所述第一戏曲音频信息为待转化的戏曲音频信息；获取所述第一戏曲音频信息的多层特征；通过多层特征获取所述第一戏曲音频信息的内容特征和韵律特征；通过训练获得的先验编码器并基于所述目标音色及风格标识、所述内容特征和所述韵律特征，得到目标隐层表征；将所述目标隐层表征和所述韵律特征输入到训练获得的解码器中，得到第二戏曲音频信息，通过对曲线风格的分离和添加，还原了戏曲中的风格和唱腔，在保证转换音频表演者相似度的前提下，保证戏曲内容的不变，同时保留原戏曲中的表现力信息，并有较高的音质保证了转化后的戏曲听感。

技术特征：

1.一种戏曲语音转化的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，通过多层特征获取所述第一戏曲音频信息的内容信息和韵律信息，具体包括：

3.根据权利要求2所述的方法，其特征在于，用所述浅层特征减去深层特征，得到所述韵律特征之后，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，训练所述条件生成模块的过程包括：

5.根据权利要求2所述的方法，其特征在于，对所述深层特征进行聚类过滤，具体包括：

6.根据权利要求1所述的方法，其特征在于，通过训练获得的先验编码器并基于所述目标音色及风格标识、所述内容特征和所述韵律特征，得到目标隐层表征，具体包括：

7.根据权利要求6所述的方法，其特征在于，训练所述先验编码器的过程包括：

8.根据权利要求1所述的方法，其特征在于，训练所述先验编码器的过程包括：

9.根据权利要求8所述的方法，其特征在于，在通过目标戏曲语音样本数据集训练所述第三编码器，得到所述先验编码器之前，所述方法还包括：

10.一种戏曲语音转化的装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器执行所述程序时实现如权利要求1至9中任意一项所述的方法。

12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至9中任一项所述的方法。

技术总结本申请提供一种戏曲语音转化的方法、装置、电子设备及存储介质，该方法包括获取第一戏曲音频信息，并获取目标音色及风格标识，其中，所述第一戏曲音频信息为待转化的戏曲音频信息；通过语音识别模型的编码器获取第一戏曲音频信息的多层特征；通过多层特征获取第一戏曲音频信息的内容特征和韵律特征；通过训练获得的先验编码器并基于所述目标音色及风格标识、所述内容特征和所述韵律特征，得到目标隐层表征；将所述目标隐层表征和所述韵律特征输入到训练获得的解码器中，得到第二戏曲音频信息，通过对曲线风格的分离和添加，在保证转换音频表演者相似度的前提下，保证戏曲内容的不变，同时保留原戏曲中的表现力信息，保证了转化后的戏曲听感。技术研发人员：朱鹏程,宁子谦,傅星,吕唐杰受保护的技术使用者：网易（杭州）网络有限公司技术研发日：技术公布日：2024/6/5