基于热词图的课堂语音识别方法、装置、电子设备及介质与流程

本技术属于语音识别，具体涉及一种基于热词图的课堂语音识别方法、装置、电子设备及介质。

背景技术：

1、随着语音识别技术的发展，越来越多的领域，例如：智能家居、智能医疗以及休闲娱乐等，都在利用语音识别技术进行智能化提升。同时教育行业也开始利用语音识别技术对课堂内容进行识别和记录，便于学生和老师的课后回顾。

2、现有技术中，利用语音识别技术进行课堂记录的主要方式是，在语音识别装置解码器处，预先存储所有课堂中可能用到的一些特定的、且不易被语音识别出的热词，例如：人名、地名以及专有名词等，并将这些词语固定在解码器中，供所有课堂使用。

3、由于不同课堂涉及到的领域各不相同，因此，将所有的热词同时存储于同一解码器中，会导致对不同课堂进行语音识别的结果可能存在偏差，同时由于同一解码器中存储的热词量较大，会导致对课堂的语音识别速度较慢。并且，对于不同的课堂，随着课堂的深入，涉及到的热词会逐步更新，而现有方案中对于热词没有办法及时更新，只能够停留在解码器初始化的阶段。

技术实现思路

1、本技术实施例提供一种基于热词图的课堂语音识别方法、装置、电子设备及介质，目的在于解决现有技术中由于将所有热词同时存储于同一解码器中导致可能存在的课堂语音识别误差以及无法及时更新的问题。通过对课堂录制文件中的文字进行热词识别，构建热词图，并且能够实时更新，进而结合热词图对课堂录制文件进行语音识别，可以有效提高对不同课堂语音识别的准确度和识别效率。

2、第一方面，本技术实施例提供了一种基于热词图的课堂语音识别方法，所述方法包括：

3、获取课堂内容的第一录制文件和第二录制文件；

4、对所述第一录制文件进行文字识别和分词处理得到课堂内容的热词，以及确定各热词的分数；

5、按照预设构图规则对所述热词采用各热词的分数进行构图，得到热词图；

6、在对所述第二录制文件进行自动语音识别时采用所述热词图进行识别，得到所述第二录制文件的文字信息。

7、进一步的，确定各热词的分数，包括：

8、统计课堂内容的各热词的词频；

9、根据各热词的词频以及预设基准分数确定各热词的分数。

10、进一步的，根据各热词的词频以及预设基准分数确定各热词的分数，包括：

11、获取预设基准分数，以及统计所有热词的词频总数；

12、根据所述目标热词的词频在所述词频总数中的比例，与所述预设基准分数的乘积，确定所述目标热词的分数；其中，所述目标热词为课堂内容的热词中的一个；

13、遍历课堂内容的所有热词，得到各热词的分数。

14、进一步的，按照预设构图规则对所述热词采用各热词的分数进行构图，得到热词图，包括：

15、按照fst构图方式创建虚拟节点，并将每个热词拆分为单独的字；并以每个字作为虚拟节点之间可接受弧的输入标签，以每个字与热词的分数分别作为虚拟节点之间可接受弧的输出标签和权重；

16、遍历所有热词，得到热词图。

17、进一步的，在以每个字作为虚拟节点之间可接受弧的输入标签，以每个字与热词的分数分别作为虚拟节点之间可接受弧的输出标签和权重之后，所述方法还包括：

18、对于可接受弧添加一个返回至初始虚拟节点的具有负累积提升分数的回退弧，以用于当热词匹配失败，移除提升的分数。

19、进一步的，在获取课堂内容的第一录制文件和第二录制文件之后，所述方法还包括：

20、对所述第一录制文件和所述第二录制文件生成关联标签；

21、相应的，在得到热词图之后，所述方法还包括：

22、将所述关联标签写入至所述热词图中；

23、相应的，在对所述第二录制文件进行自动语音识别时采用所述热词图进行识别，得到所述第二录制文件的文字信息，包括：

24、对所述第二录制文件采用语音端点检测技术进行切割，得到语音分片，且各语音分片具有所述关联标签；

25、采用具有相同的关联标签的热词图对各语音分片进行识别，以得到所述第二录制文件的文字信息。

26、进一步的，在得到热词图之后，所述方法还包括：

27、将所述热词图的存储地址以及所述热词图的生成时间写入至所述热词图中；

28、若基于所述生成时间识别到清除触发事件，对所述热词图基于所述存储地址进行清除操作。

29、第二方面，本技术实施例提供了一种基于热词图的课堂语音识别装置，所述装置包括：

30、录制文件获取模块，用于获取课堂内容的第一录制文件和第二录制文件；

31、热词分数确定模块，用于对所述第一录制文件进行文字识别和分词处理得到课堂内容的热词，以及确定各热词的分数；

32、热词图构建模块，用于按照预设构图规则对所述热词采用各热词的分数进行构图，得到热词图；

33、语音识别模块，用于在对所述第二录制文件进行自动语音识别时采用所述热词图进行识别，得到所述第二录制文件的文字信息。

34、进一步的，所述热词分数确定模块，包括：

35、热词词频统计单元，用于统计课堂内容的各热词的词频；

36、热词分数确定单元，用于根据各热词的词频以及预设基准分数确定各热词的分数。

37、进一步的，所述热词分数确定单元，具体用于：

38、获取预设基准分数，以及统计所有热词的词频总数；

39、根据所述目标热词的词频在所述词频总数中的比例，与所述预设基准分数的乘积，确定所述目标热词的分数；其中，所述目标热词为课堂内容的热词中的一个；

40、遍历课堂内容的所有热词，得到各热词的分数。

41、进一步的，所述热词图构建模块，具体用于：

42、按照fst构图方式创建虚拟节点，并将每个热词拆分为单独的字；并以每个字作为虚拟节点之间可接受弧的输入标签，以每个字与热词的分数分别作为虚拟节点之间可接受弧的输出标签和权重；

43、遍历所有热词，得到热词图。

44、进一步的，所述热词图构建模块，还用于：

45、对于可接受弧添加一个返回至初始虚拟节点的具有负累积提升分数的回退弧，以用于当热词匹配失败，移除提升的分数。

46、进一步的，所述装置还包括：

47、关联标签生成模块，用于对所述第一录制文件和所述第二录制文件生成关联标签；

48、相应的，所述热词图构建模块，还用于：

49、将所述关联标签写入至所述热词图中；

50、相应的，所述语音识别模块，具体用于：

51、对所述第二录制文件采用语音端点检测技术进行切割，得到语音分片，且各语音分片具有所述关联标签；

52、采用具有相同的关联标签的热词图对各语音分片进行识别，以得到所述第二录制文件的文字信息。

53、进一步的，所述装置还包括：

54、热词图编辑模块，用于将所述热词图的存储地址以及所述热词图的生成时间写入至所述热词图中；

55、热词图清除模块，用于若基于所述生成时间识别到清除触发事件，对所述热词图基于所述存储地址进行清除操作。

56、第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

57、第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

58、第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

59、在本技术实施例中，获取课堂内容的第一录制文件和第二录制文件；对所述第一录制文件进行文字识别和分词处理得到课堂内容的热词，以及确定各热词的分数；按照预设构图规则对所述热词采用各热词的分数进行构图，得到热词图；在对所述第二录制文件进行自动语音识别时采用所述热词图进行识别，得到所述第二录制文件的文字信息。本方案通过对每节课第一录制文件中的课堂视频以及课件等内容进行图像文字识别，识别出该课堂的热词，并基于该热词构建热词图，进而结合热词图对相应的第二录制文件的音频进行语音文字识别，可以有效提高对不同课堂语音识别的准确度和识别效率。同时，现有技术主要是将所有热词都提前放置解码器中进行解码器初始化，不仅占用较大内存且无法根据课堂内容的改变达到热词图更新的效果。本方案通过利用热词图的生成时间以及存储地址，在语音识别结束后，根据当前时间对热词图进行相应的清除操作，并根据不同课堂单独进行热词图的构建，可以节省语音识别装置解码器的内存，还可以实现解码器中热词图动态更新的目的。