语音交互映射模型训练方法、语音交互方法及装置与流程

本发明涉及语音交互识别，具体为语音交互映射模型训练方法、语音交互方法及装置。

背景技术：

1、随着5g技术的不断发展，网络游戏也开始层出不穷，大家也越来越喜欢在各种游戏中使用语音交互。用户语音交互是指在对话时不仅需要准确接收语音请求指令，还需要根据用户的语音内容进行自动化处理，从而生成与之对应的语音反馈。

2、随着人工智能的快速发展，卷积神经网络、知识图谱、实体特征和关系依赖树等已经用在语义分析及语音交互等场景中，通过利用实现训练的语音模型可对用户的语音请求指令进行处理，从而自动的生成语音反馈结果并发送给用户，从而完成语音交互。

3、但在游戏语音交互的用户是来自天南地北的，每个地域都有自己独特的语音特征，这就为语音模型的训练，语义的识别增加了困难，若继续用此类方法对外部知识进行预训练，会消耗较多的训练资源，增加训练的难度，且训练过程可能会掺入不必要的噪声，影响语义分析的精度，从而影响语音交互的效果。

技术实现思路

1、本发明的目的在于提供语音交互映射模型训练方法、语音交互方法及装置，以解决上述背景技术中提出的由于不同地域有着不同的地域口音，使得在锦衣语音交互的过程中存在着交互效率低的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、语音交互映射模型训练方法，其步骤包括：

4、获取用户语音数据并确定用户选择的语音交互模式以实时进行语音识别及语音转换；

5、在用户未确定语音交互模式的情况下，以用户使用的地域语言确定语音交互模式；所述语音交互模式可以理解为在进行语音交互训练时的用户输入语音类型以及语音交互训练输出的语言类型；所述地域语言与世界语种以及地方方言存在一定的区别，所述地域语言还包括带有独特地域口音的各种语种；

6、提取用户语音特征，并将用户语言特征输入至用户选择的语音交互模式相应的语音交互训练通道；

7、在所述语音交互训练通道中基于地域语言对用户语音数据进行文本修正处理，将修正后的文本信息输入至语音交互训练模型，进行语音交互训练，并根据语音交互模式确定是否对训练完成的语音交互进行语音转换，从而完成语音交互。

8、根据上述技术方案，所述用户语音特征包括用户语音数据的文本信息、音调特征信息、语法特征信息以及在语音交互场景上的交互属性标签，所述在语音交互场景上的交互属性标签是指在语音交互的某个场景下存在的交互的类型。

9、根据上述技术方案，根据所述户语音特征中的所述音调特征信息和语法特征信息与地域语言库中的数据进行匹配确定用户使用的地域语言。

10、根据上述技术方案，根据用户使用的地域语言确定音调修正导向量，利用文本修正模型对对音调特征信息进行修正，进而对户语音数据的文本信息中的字符进行初步修正，将初步修正的文本信息的第一个字符输入到循环神经网络模型进行预测得到下一个字符；在预测的下一个字符与修正后的字符不符合的情况下，将所述当前输入的字符和所述预测字符拼接成一个整体输入至所述循环神经网络模型进行字符组预测，将所述循环神经网络模型预测的所述字符组结果作为最终的字符修正结果。由于同音字的存在，无法根据音调对用户语音数据的文本信息进行精准修正，因此利用循环神经网络对字符或者字符组进行再一次修正，提高文本修正的准确度。

11、根据上述技术方案，所述文本修正模型y(z)表示为：

12、y(z)＝f(z)k⊙z；

13、其中，⊙表示元素级乘积、f(z)k表示音调修正导向量k对应的音调调整因子、z表示每个字符的音调特征信息。

14、根据上述技术方案，将所述修正后的文本信息输入至语音交互训练模型的语义调整层，所述语义调整层根据用户所对应的语法特征信息以及用户使用的地域语言中的词义库对用户语言的文本信息进行重新调整，并保证用户语义不变；所述地域语言中的词义库是包括不同地区的对于同一语义都会有不同的词汇和该地域独自具有的词汇，可以理解为方言词汇；

15、将所述重新调整的文本信息输入至所述语音交互训练模型的训练层并对重新调整的文本信息进行关键词特征、语句特征提取，以所述在语音交互场景上的交互属性标签作为训练引导向量，引导所述关键词特征和所述语句特征输入至训练引导向量所对应的实体特征库中进行匹配模型计算得到语音交互概率，当所述语音交互概率满足预设阈值条件时停止所述语音交互训练模型的训练。所述实体特征库是指在语音交互的某个场景下存在的交互的类型所含有的特征数据库，所述实体特征库包括关键词特征、语义特征、语句特征等等。

16、根据上述技术方案，所述匹配模型ha：

17、

18、其中，ha表示语音交互概率，wa表示关键词特征和语句特征比重矩阵，d表示维数、ha表示实体特征库中包含的特征，h1表示关键词特征，h2表示语句特征，a表示训练引导向量。

19、包括一方案，语音交互方法，其步骤包括：

20、实时获取用户的语音数据并确定用户选择的语音交互模式；

21、将实时获取到的用户语音数据输入至语音交互训练模型中，得到语音交互结果，所述语音交互训练模型是基于上述语音交互映射模型训练方法获取得到的。

22、还包括另一方案，语音交互映射模型训练装置，包括：

23、用户语音数据获取模块，用于获取用户语音数据；

24、语音交互模式确认模块，用于确定用户选择的语音交互模式以实时进行语音识别及语音转换，在用户未确定语音交互模式的情况下，以用户使用的地域语言确定语音交互模式；

25、语音交互训练模块，用于提取用户语音特征，并将用户语言特征输入至用户选择的语音交互模式相应的语音交互训练通道；在所述语音交互训练通道中基于地域语言对用户语音数据进行文本修正处理，将修正后的文本信息输入至语音交互训练模型，进行语音交互训练，并根据语音交互模式确定是否对训练完成的语音交互进行语音转换，从而完成语音交互。

26、交互反馈模块，用于将所述语音交互训练模块生成语音交互结果至所述用户。

27、与现有技术相比，本发明所达到的有益效果是：本发明能够基于用户所使用的地域语言进行语音交互训练，从而提高语音交互的准确性和效率。核心在于，它能够自动识别用户的语音输入，并将其转化为文本信息，然后通过语音交互训练模型进行训练和优化，以不断提高语音识别的准确性和自然性。该技术不仅能够在用户未确定语音交互模式的情况下，自动确定语音交互模式，还能够实时进行语音识别及语音转换，从而提高了语音交互的便捷性和实用性。此外，该技术还能够将修正后的文本信息输入至语音交互训练模型的语义调整层，对用户的文本信息进行重新调整，并保证用户语义不变，从而提高了语音交互的准确性和自然性。本发明能够基于用户所使用的地域语言进行语音交互训练，提高语音交互的准确性和效率。

技术特征：

1.语音交互映射模型训练方法，其特征在于，其训练方法包括：

2.根据权利要求1所述的语音交互映射模型训练方法，其特征在于，所述用户语音特征包括用户语音数据的文本信息、音调特征信息、语法特征信息以及在语音交互场景上的交互属性标签。

3.根据权利要求1所述的语音交互映射模型训练方法，其特征在于，根据所述户语音特征中的所述音调特征信息和语法特征信息与地域语言库中的数据进行匹配确定用户使用的地域语言。

4.根据权利要求1所述的语音交互映射模型训练方法，其特征在于，根据用户使用的地域语言确定音调修正导向量，利用文本修正模型对对音调特征信息进行修正，进而对户语音数据的文本信息中的字符进行初步修正，将初步修正的文本信息的第一个字符输入到循环神经网络模型进行预测得到下一个字符；在预测的下一个字符与修正后的字符不符合的情况下，将所述当前输入的字符和所述预测字符拼接成一个整体输入至所述循环神经网络模型进行字符组预测，将所述循环神经网络模型预测的所述字符组结果作为最终的字符修正结果。

5.根据权利要求4所述的语音交互映射模型训练方法，其特征在于，所述文本修正模型y(z)表示为：

6.根据权利要求1所述的语音交互映射模型训练方法，其特征在于，将所述修正后的文本信息输入至语音交互训练模型的语义调整层，所述语义调整层根据用户所对应的语法特征信息以及用户使用的地域语言中的词义库对用户语言的文本信息进行重新调整，并保证用户语义不变；

7.根据权利要求1所述的语音交互映射模型训练方法，其特征在于，所述匹配模型ha：

8.语音交互方法，其特征在于，所述方法包括：

9.语音交互映射模型训练装置，其特征在于，包括：

技术总结本发明公开了语音交互映射模型训练方法、语音交互方法及装置，属于语音交互技术领域。本发明首先获取用户语音数据并确定用户选择的语音交互模式，在用户未确定语音交互模式的情况下，以用户使用的地域语言确定语音交互模式；并提取用户语音特征，并将用户语言特征输入至用户选择的语音交互模式相应的语音交互训练通道；在语音交互训练通道中基于地域语言对用户语音数据进行文本修正处理，将修正后的文本信息输入至语音交互训练模型，进行语音交互训练，并根据语音交互模式确定是否对训练完成的语音交互进行语音转换，从而完成语音交互。本发明能够基于用户所使用的地域语言进行语音交互训练，提高语音交互的准确性和效率。技术研发人员：缪玉林,汤海云受保护的技术使用者：南通七仟网络科技有限公司技术研发日：技术公布日：2024/3/11