口语评测方法、系统、电子设备及存储介质

本公开涉及自动化，具体涉及一种口语评测方法、系统、电子设备及存储介质。

背景技术：

1、口语自动评测算法是一种计算机辅助的语言教学方法，通过一套程序对待评测对象输入的语音信息和口语题目信息进行分析，给出待评测对象在该题目下的评测分数，主要包括发音准确度、流利度、内容、词汇和句法的使用等维度。该方法可以高效、准确地给待评测对象反馈口语评测结果，帮助待评测对象练习口语，纠正发音。

2、已有的口语自动评测算法主要针对单个待评测对象，如针对口语跟读题的自动评测等。待评测对象在客户端看到一个单词、句子或段落后，开始逐词朗读。朗读时，题目信息和音频数据会上传到服务器。朗读完成后，服务器通过特定算法计算分数，并将结果返回至客户端。通常客户端会显示每个单词的发音得分和流利度等分数。待评测对象可根据系统的反馈做进一步训练。

3、目前的一些英语口语考试中，除了跟读题外，还有“双人互动”题型，用来考察待评测对象的英语口语交际能力。该题型要求两位待评测对象围绕一个主题进行对话，最后根据他们的表现，分别给予两人评分。

4、为此，需要提出一种解决方案，以解决上述互动式口语题型的评分问题，从而能够从口语交际能力的角度，对待评测对象进行口语评测。

技术实现思路

1、本公开实施例提供一种口语评测方法、系统、电子设备及存储介质。

2、第一方面，本公开实施例中提供了一种口语评测方法，其中，包括：

3、第一终端设备和第二终端设备之间建立语音通信；

4、第一终端设备向第一待测评对象输出口语测试题，第二终端设备向第二待测评对象输出所述口语测试题；

5、在语音通信过程中，所述第一终端设备采集并存储第一待评测对象的语音信息，并将采集到的语音信息传送至所述第二终端设备，所述第二终端设备采集并存储第二待评测对象的语音信息，并将采集到的语音信息传送至所述第一终端设备；

6、第一终端设备向所述第一待评测对象输出从所述第二终端设备接收到的所述语音信息，第二终端设备向所述第二待评测对象输出从所述第一终端设备接收到的所述语音信息；

7、语音通信结束后，所述第一终端设备和所述第二终端设备将包括采集并存储的所述语音信息的音频文件和所述口语测试题上传至云端服务设备；

8、所述云端服务设备接收到所述音频文件和所述口语测试题后，提取所述音频文件中的发音特征和语言特征，并基于所述发音特征和语言特征，对所述第一待评测对象和所述第二待评测对象进行口语评测。

9、进一步地，提取所述音频文件中的发音特征和语言特征之前，所述方法还包括：

10、将所述音频文件进行切分，得到多个音频块，每个所述音频块对应一轮对话中所述第一待评测对象或所述第二待评测对象的音频内容。

11、进一步地，提取所述音频文件中的发音特征和语言特征，包括：

12、提取所述音频文件中的发音准确度特征；

13、提取所述音频文件中的流利度特征；

14、提取所述音频文件中的词汇和语法特征；

15、提取所述音频文件中的对话参与度特征；

16、提取所述音频文件中的语言适切性特征。

17、进一步地，提取所述音频文件中的发音准确度特征，包括：

18、利用语音识别算法从所述音频文件中识别每个词以及所述每个词的识别概率值；

19、基于每个词的所述识别概率值确定所述音频文件的第一发音准确度指标；

20、确定每个词的标准发音和所述音频文件中的发音的差异；

21、基于所述差异确定第二发音准确度指标；

22、基于所述第一发音准确度指标和第二发音准确度指标确定所述音频文件中的发音准确度特征。

23、进一步地，提取所述音频文件中的流利度特征，包括:

24、基于所述音频文件中的语速、停顿时长和修正表述次数确定所述流利度特征；和/或，

25、提取所述音频文件中的词汇和语法特征，包括：

26、提取所述音频文件的词汇丰富度、句法复杂度；和/或，

27、提取所述音频文件中的对话参与度特征之前，所述方法还包括：

28、识别所述音频文件的文字内容；

29、提取所述音频文件中的对话参与度特征，包括：

30、基于预训练的切题度判别模型，确定所述文字内容以及所述口语测试题目之间的相关性，基于所述相关性确定所述对话参与度特征；和/或，

31、基于预训练的切题度判别模型，确定所述文字内容以及所述口语测试题目之间的相关性，基于所述相关性确定所述对话参与度特征，包括：

32、将每一轮对话中所述第一待测试对象和/或第二待测试对象的音频信息对应的所述文字内容和所述口语测试题目，输入至所述切题度判别模型，获得每一轮对话中第一待测试对象和/或第二待测试对象的音频信息对应的文字内容与所述口语测试题目的相关性；

33、基于所述音频文件中所有轮对话对应的相关性，以及与题目相关内容的字数，确定所述第一待测试对象和/或第二待测试对象的对话参与度特征；和/或，

34、提取所述音频文件中的语言适切性特征，包括：

35、基于预训练的对话连贯度判别模型，确定每一轮对话中所述第一待测试对象和/或第二待测试对象的音频信息对应的文字内容与历史文字内容的连贯性，以及文字内容是否对对方的问题或观点进行了回应；

36、基于所述连贯性确定所述语言适切性特征。

37、第二方面，本发明实施例中提供了一种口语评测系统，其中，包括：多个终端设备和云端服务设备；

38、多个终端设备分别输出口语测试题，并进行语音通信；

39、在语音通信过程中，所述多个终端设备分别采集待评测对象的语音信息，并将采集到的语音信息传送至所述多个终端设备中的其他设备；

40、多个终端设备还将采集的待评测对象的语音信息存储为音频文件，并在语音通信结束后，将所述音频文件和所述口语测试题传送至云端服务设备；

41、所述云端服务设备接收到所述音频文件和所述口语测试题后，提取所述音频文件中的发音特征和语言特征，并基于所述发音特征和语言特征，对所述待评测对象进行口语评测。

42、进一步地，多个终端设备还将采集的待评测对象的语音信息存储为音频文件，并在语音通信结束后，将所述音频文件和所述口语测试题传送至云端服务设备，包括：

43、所述多个终端设备将在本地采集的音频信息存储为音频文件，并在语音通信结束后，将所述音频文件和所述口语测试题传送至云端服务设备；或者，

44、所述多个终端设备中的其中一个将本地采集的音频信息和从所述多个终端设备中的其他设备接收到的音频信息存储为音频文件，并在语音通信结束后，将所述音频文件和所述口语测试题传送至云端服务设备。

45、所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

46、在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。

47、第三方面，本公开实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述任一方面所述的方法。

48、第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。

49、第五方面，本公开实施例提供了一种计算机程序产品，其包含计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。

50、本公开实施例提供的技术方案可以包括以下有益效果：

51、本实施中，为了实现双人互动型口语自动评测方案，在第一终端设备和第二终端设备之间建立语音通信，由第一终端设备向第一待测评对象输出口语测试题，第二终端设备向第二待测评对象输出所述口语测试题；在语音通信过程中，所述第一终端设备采集并存储第一待评测对象的语音信息，并将采集到的语音信息传送至所述第二终端设备，所述第二终端设备采集并存储第二待评测对象的语音信息，并将采集到的语音信息传送至所述第一终端设备；第一终端设备向所述第一待评测对象输出从所述第二终端设备接收到的所述语音信息，第二终端设备向所述第二待评测对象输出从所述第一终端设备接收到的所述语音信息；语音通信结束后，所述第一终端设备和所述第二终端设备将包括采集并存储的所述语音信息的音频文件和所述口语测试题上传至云端服务设备；所述云端服务设备接收到所述音频文件和所述口语测试题后，提取所述音频文件中的发音特征和语言特征，并基于所述发音特征和语言特征，对所述第一待评测对象和所述第二待评测对象进行口语评测。上述实施方式，实现了对“双人互动”口语题型的自动评测方案，可同时给两位参与“双人互动”的用户分别进行口语评测。

52、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。