一种基于深度学习的英语口语测评方法和系统

本发明属于口语评估，具体涉及一种基于深度学习的英语口语测评方法和系统。

背景技术：

1、深度学习(dl，deep learning)是机器学习领域中一个新的研究方向，通过学习样本数据的内在规律和表示层次，使机器能够模仿人类的视听和思考等活动，从而解决复杂的模式识别难题。

2、传统的英语口语测评方法主要依赖于人工评估，因为每个学生的口语表达都需要单独评估，它需要大量的时间和人力成本。其次，人工评估容易受到评估者的主观偏见和疲劳因素的影响，从而影响评估结果的公正性和准确性。因此人工评估存在主观性强、评估标准不一等问题，为了解决人工评估出现的问题，提出了自动化口语测评方法。自动化测评方法主要依赖于语音识别和自然语言处理技术，通过对语音信号进行处理和分析，自动对学生的口语表达进行评估。自动化测评方法具有高效、快捷、可大规模应用的优点，同时也可以减少人为因素对评估结果的影响。

3、然而，自动化口语测评方法可能会受到说话者口语习惯、语速、语调等因素的影响，从而导致评估结果的不准确。

技术实现思路

1、本发明的目的就在于解决自动化口语测评方法可能会受到说话者口语习惯、语速、语调等因素的影响，从而导致评估结果的不准确的问题，而提出一种基于深度学习的英语口语测评方法和系统。

2、在本发明实施的第一方面，首先提出一种基于深度学习的英语口语测评方法，所述方法包括：

3、通过语音识别模型，将目标音频转换为对应的文本数据，并通过音频处理模型提取所述目标音频中的音频特征；

4、根据所述音频特征对所述文本数据进行断句得到目标句子，并对所述文本数据中的口语习惯和修正处进行标注得到目标标记；所述口语习惯包括缩略语、重复表达、口头禅、情感表达；

5、根据所述目标标记和所述文本数据对所述目标句子进行语音生成得到标准音频，以所述目标音频为参考对所述标准音频进行修正得到发音误差系数，直到所述误差系数在预设值范围内，根据所述标准音频权重和所述误差系数得到所述目标音频的发音准确度；

6、根据所述音频特征得到所述目标音频的情感度、流利度和词汇语法准确度，再结合所述发音准确度得到测评结果。

7、可选的，所述音频特征包括单词音节的语调、长度、重复率、修正率和停顿次数，其中包括：

8、通过情感词典对所述单词音节的语调进行分析得到所述单词的情感度，再对所述单词的情感度进行加权平均得到所述目标音频的情感度；所述情感词典为一个包含词汇及其与情感之间关联的数据库；

9、根据所述单词音节的长度、重复率、修正率和停顿次数进行语音分析，得到所述目标音频的流利度；

10、根据所述目标标记通过预设的语法词汇模型对所述目标句子进行词汇语法分析得到所述目标音频词汇语法准确度。

11、可选的，根据所述单词音节的长度、重复率、修正率和停顿次数进行语音分析，得到所述目标音频的流利度，具体包括：

12、将所述文本数据中所有单词音节的长度相加，再除以单词音节的数量，得到所述单词音节的平均长度；

13、根据所述文本数据中的每个单词音节，计算其重复次数和修正次数，分别计算重复率和修正率的平均值；

14、根据所述文本数据，计算停顿次数；所述停顿次数包括无声停顿和有声停顿；

15、将所述单词音节平均长度、所述重复率平均值、所述修正率平均值和所述停顿次数进行加权平均，得到所述目标音频的流利度。

16、可选的，所述语法词汇模型包括分词单元、词性解析单元和语态分析单元，其中：

17、所述分词单元，用于根据所述目标标记和空格对所述目标句子进行单词分隔得到单词和固定搭配短句；

18、所述词性解析单元，用于通过词性数据库对所述单词和所述固定搭配短句进行词性匹配；若所述单词包括多种词性，则对所述单词进行词性标记；所述词性数据库是包含固定搭配短句和英语单词及其对应词性的大型数据库；

19、所述语态分析单元，用于根据所述单词和所述固定搭配短句对应的词性与预设句子成分对应词性进行比较，并通过上下文内容和所述预设句子成分，对所述词性标记处的单词或短句进行词性定性，得到词汇语法准确度。

20、可选的，以所述目标音频为参考对所述标准音频进行修正得到发音误差系数，直到所述误差系数在预设值范围内，根据所述标准音频权重和所述误差系数得到所述目标音频的发音准确度具体包括如下步骤：

21、步骤一：将所述标准音频对应口语的初始权重记为权重a；

22、步骤二：计算所述标准音频和所述目标音频之间的余弦相似度，根据所述余弦相似度得到误差系数；

23、步骤三：根据所述误差系更改所述权重a得到权重b,并通过所述权重b重新进行语言生成；

24、步骤四：重复上述步骤二和步骤三，直到所述误差系数在预设值范围内；

25、步骤五：根据所述权重a、所述权重b和所述误差系数得到发音准确度。

26、可选的，计算所述标准音频和所述目标音频之间的余弦相似度，根据所述余弦相似度得到误差系数具体为：

27、根据公式得到误差系数，

28、其中n为所述标准音频和所述目标音频拆分的个数，当n为偶数时ε为0,当n为奇数时ε为1，为误差系数，log为底数为2的对数，cosθ为所述标准音频和所述目标音频向量之间的余弦相似度：

29、根据公式得到，

30、其中，xi为所述标准音频的向量集，yi为所述目标音频的向量集，cosθ取值范围为大于0小于等于1。

31、可选的，根据所述误差系更改所述权重a得到权重b包括：

32、根据公式得到权重b，

33、其中，为所述误差系数，a为所述权重a，b为所述权重b。

34、可选的，根据所述权重a、所述权重b和所述误差系数得到发音准确度包括：

35、根据公式得到口语的发音准确度，

36、其中，为所述误差系数，a为所述权重a，b为所述权重b，ω为所述发音准确度。

37、在本发明实施的第二方面，提供了一种基于深度学习的英语口语测评系统，包括语音识别模块、处理模块、音准检测模块、综合测评模块：

38、所述语音识别模块，用于通过语音识别模型，将目标音频转换为对应的文本数据，并通过音频处理模型提取所述目标音频中的音频特征；

39、所述处理模块，用于根据所述音频特征对所述文本数据进行断句得到目标句子，并对所述文本数据中的口语习惯和修正处进行标注得到目标标记；所述口语习惯包括缩略语、重复表达、口头禅、情感表达；

40、所述音准检测模块，用于根据所述目标标记和所述文本数据对所述目标句子进行语音生成得到标准音频，以所述目标音频为参考对所述标准音频进行修正得到发音误差系数，直到所述误差系数在预设值范围内，根据所述标准音频权重和所述误差系数得到所述目标音频的发音准确度；

41、所述综合测评模块，用于根据所述音频特征得到所述目标音频的情感度、流利度和词汇语法准确度，再结合所述发音准确度得到测评结果。

42、本发明的有益效果：

43、本发明提出了一种基于深度学习的英语口语测评方法，通过将口语内容转换为对应的文本数据，并对文本数据中的口语习惯和修正处进行标注得到目标标记，根据目标标记和文本数据对目标句子进行语音生成得到标准音频，得到目标音频的发音准确度，以目标音频为参考对标准音频进行修正降低了因说话者口语习惯等因素产生的影响，提高了评估结果的准确性。