一种基于神经网络的小语种口语智能训练方法、系统及设备

本发明涉及语音识别，更具体的说是涉及一种基于神经网络的小语种口语智能训练方法、系统及设备。

背景技术：

1、随着全球化的发展，语言学习变得越来越重要。对于小语种学习者来说，由于缺乏母语环境和实践机会，口语训练成为了一个难点。传统的对于真实小语种的数据收集困难且体量较小，导致目前针对小语种的口语智能训练中对异常口语识别的准确率不高，影响学习、训练的效率。

2、因此，如何提供一种基于神经网络的小语种口语智能训练方法、系统及设备，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于神经网络的小语种口语智能训练方法、系统及设备。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于神经网络的小语种口语智能训练方法，包括以下步骤：

4、收集小语种词语口语表达数据，对小语种词语口语表达数据进行预处理，作为样本数据集；

5、构建生成对抗网络模型，并将所述样本数据集送入生成对抗网络模型进行样本数据扩充，得到训练样本数据集；

6、构建口语评估模型，并根据训练样本数据集训练口语评估模型，得到优化后的口语评估模型；

7、获取用户的口语信息并输入优化后的口语评估模型，输出评估结果。

8、优选的，所述词语口语表达数据包括：不同词语文本以及对应的语音信息，其中，所述语音信息包括标准语音信息、结构障碍音信息，词语表达更加准确，因此将词语表达作为数据基础。

9、优选的，所述对小语种词语口语表达数据进行预处理，作为样本数据集，包括：

10、对语音信息进行加窗滤波以及频域变换，得到频谱序列；

11、对所述频谱序列进行归一化处理；

12、采用线性预测编码提取样本数据集中的频谱序的数据特征，包括：标准语音数据特征以及结构障碍音数据特征；

13、分别将标准语音数据特征以及结构障碍音数据特征的类别与对应的词语文本进行匹配、标注，得到样本数据集。

14、优选的，所述对语音信息进行频域变换为将语音信息通过快速傅里叶变换转换到频域中，表达式为：

15、

16、式中，f(i,j)为语音信息的数据分布，m、n表示语音信息二维向量，x,y表示确定正余弦的频率。

17、优选的，所述生成对抗网络模型包括：生成器、第一判别器、第二判别器；

18、其中，所述生成器将样本数据集作为输入，生成段口语表达音频；

19、所述第一判别器判断所述段口语表达音频的真伪；

20、所述第二判别器控制生成段口语表达音频变化的真实性和平滑性。

21、优选的，所述第一判别器的损失函数为：

22、

23、式中，为段口语表达音频为真的概率，c为样本中标准语音类别或结构障碍类别的标签，其中，样本若为标准语音类别，则c取1，若样本为结构障碍类别，则c取0。

24、优选的，所述口语评估模型依次包括：输入层、第一卷积层、第一激活层、第二卷积层、第二激活层、最大池化层、第三卷积层、第三激活层、全连接层、第四激活层以及输出层；

25、其中，所述第一卷积层、所述第二卷积层以及所述第三卷积层的卷积核的尺寸和步长参数相同；

26、所述第一激活层、所述第二激活层、所述第三激活层以及所述第四激活层通过激活函数将音频长度保持一致，激活函数表达式为：

27、f(x)＝max(0,x)；

28、式中，x为上层的输出值，f(x)代表激活函数的输出值。

29、优选的，获取用户的口语信息并输入优化后的口语评估模型，输出异常口语的分布结果，包括：

30、获取用户的口语信息；

31、对用户的口语信息进行降噪处理，获得去噪音频；

32、对去噪音频进行频域变换，得到用户频谱序列；

33、将所述用户频谱序列输入至优化后的口语评估模型，输出评估结果，其中，评估结果包括：标准词语个数、结构障碍音词语个数。

34、一种基于神经网络的小语种口语智能训练系统，包括：

35、收集模块：收集小语种词语口语表达数据，对小语种词语口语表达数据进行预处理，作为样本数据集；

36、扩充模块：构建生成对抗网络模型，并将所述样本数据集送入生成对抗网络模型进行样本数据扩充，得到训练样本数据集；

37、评估模块：构建口语评估模型，并根据训练样本数据集训练口语评估模型，得到优化后的口语评估模型；

38、输出模块：获取用户的口语信息并输入优化后的口语评估模型，输出评估结果。

39、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于神经网络的小语种口语智能训练方法。

40、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于神经网络的小语种口语智能训练方法、系统及设备，利用生成式对抗网络对小语种词语口语表达数据进行扩充，得到样本数据集，再基于大量的样本数据集优化训练口语评估模型，利用口语评估模型的自适应和学习能力，输出评估结果，为学习者提供更加智能、个性化和互动的学习体验，对于提高小语种学习者的口语水平和语言能力具有重要的意义。

技术特征：

1.一种基于神经网络的小语种口语智能训练方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于神经网络的小语种口语智能训练方法，其特征在于，所述词语口语表达数据包括：不同词语文本以及对应的语音信息，其中，所述语音信息包括标准语音信息、结构障碍音信息。

3.根据权利要求2所述的一种基于神经网络的小语种口语智能训练方法，其特征在于，所述对小语种词语口语表达数据进行预处理，作为样本数据集，包括：

4.根据权利要求3所述的一种基于神经网络的小语种口语智能训练方法，其特征在于，所述对语音信息进行频域变换为将语音信息通过快速傅里叶变换转换到频域中，表达式为：

5.根据权利要求1所述的一种基于神经网络的小语种口语智能训练方法，其特征在于，所述生成对抗网络模型包括：生成器、第一判别器、第二判别器；

6.根据权利要求5所述的一种基于神经网络的小语种口语智能训练方法，其特征在于，所述第一判别器的损失函数为：

7.根据权利要求1所述的一种基于神经网络的小语种口语智能训练方法，其特征在于，所述口语评估模型依次包括：输入层、第一卷积层、第一激活层、第二卷积层、第二激活层、最大池化层、第三卷积层、第三激活层、全连接层、第四激活层以及输出层；

8.根据权利要求1所述的一种基于神经网络的小语种口语智能训练方法，其特征在于，获取用户的口语信息并输入优化后的口语评估模型，输出异常口语的分布结果，包括：

9.一种利用权利要求1至8任一项所述的基于神经网络的小语种口语智能训练方法的基于神经网络的小语种口语智能训练系统，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一所述的基于神经网络的小语种口语智能训练方法。

技术总结本发明公开了一种基于神经网络的小语种口语智能训练方法、系统及设备，属于语音识别技术领域。该方法包括：收集小语种词语口语表达数据，对小语种词语口语表达数据进行预处理，作为样本数据集；构建生成对抗网络模型，并将样本数据集送入生成对抗网络模型进行样本数据扩充，得到训练样本数据集；构建口语评估模型，并根据训练样本数据集训练口语评估模型，得到优化后的口语评估模型；获取用户的口语信息并输入优化后的口语评估模型，输出评估结果。对于提高小语种学习者的口语水平和语言能力具有重要的意义。技术研发人员：项敬畏,何世超,伊诺拉·西拉·阿维拉,杨胜英,宋蔚受保护的技术使用者：浙江科技学院技术研发日：技术公布日：2024/3/12