基于多级忆阻器阵列的会议转写方法、系统及电子设备与流程

本发明涉及语音转写，更具体的说，本发明涉及一种基于多级忆阻器阵列的会议转写方法、系统及设备。

背景技术：

1、目前，无论是在企业还是政务场合都存在较多的多人会议场合，在这些会议上，依靠人工通过电脑打字或者手写摘录的方式记录会议内容的仍占大多数。还有一部分是利用录音设备，例如手机的录音功能、录音笔等，再通过重放录音进行记录或者语音转写的方式生成会议记录。

2、随着科技进步，会议记录系统或会议语音转录系统已实现自动快速地得到会议记录，包括发言人、发言内容等。现在的会议语音转写系统，可以对会议进行实时转写，或者是对录音文件进行转写。

3、这些方式都存在效率低，且很容易出现错误，同时也没有办法实时进行会议记录生成。当多方发言后，录音内容容易混淆，无论是人工还是机器转写都存在更大地挑战。除此之外，由于多人会议场合下存在若干人，若每一个参会人员部署一个会议转写仪器成本太高。

技术实现思路

1、为了克服现有技术的不足，本发明提供一种基于多级忆阻器阵列的会议转写方法、系统及电子设备，能够提高语音转写的效率，并保证转写的准确率。

2、本发明解决其技术问题所采用的技术方案是：一种基于多级忆阻器阵列的会议转写方法，其改进之处在于，该方法包括以下步骤：

3、在多人会议场景中采集语音数据，并按设定的第一规则对语音数据进行分割，得到音频片段；

4、检测所述音频片段是否为多人音频；所述多人音频是指包含至少两个不同的说话人的人声数据的音频片段；

5、若所述音频片段为多人音频，则对所述多人音频进行分离，使音频片段中存在不同人声的重叠部分实现音频分离，得到音频数据；

6、将所有音频数据和单人音频按设定的第二规则分配至多级忆阻器阵列上，通过多级忆阻器阵列对音频数据进行语音转写，获取每个忆阻器阵列输出的语音转写结果；一个所述语音转写结果对应一个时间标签；

7、根据所述时间标签对每一个所述语音转写结果进行排序，形成会议记录。

8、进一步的，所述在多人会议场景中采集语音数据，并按设定的第一规则对语音数据进行分割，包括：

9、检测当前采集的语音数据是否满足预设分割条件；

10、若检测到当前采集的语音数据满足任意一个预设分割条件，则将满足预设分割条件的语音数据分割为一个音频片段；

11、所述预设分割条件包括：

12、当前采集的语音数据的时间长度达到预设时长；

13、当前采集的语音数据的时间长度未达到预设时长，且获取到预设静音时长。

14、进一步的，所述对所述多人音频进行分离，使音频片段中存在不同人声的重叠部分实现音频分离，得到音频数据，包括：

15、将多人音频处理成波形数据，并提取波形数据的特征；

16、将波形数据的特征输入编码器中，以通过所述编码器根据波形数据的特征形成包含所有人声的特征张量；

17、将编码器输出的特征张量输入到分离模块中，以使所述分离模块根据特征张量上不同人声的特征表示，对特征张量进行切割，形成若干个子张量；

18、通过分离模块输出的若干子张量辅助解码器对编码器输出的特征张量进行解码，输出不同人声对应的子波形，并依据子波形还原每个人声对应的语音，完成音频分离，得到音频数据。

19、进一步的，所述将所有音频数据和单人音频按设定的第二规则分配至多级忆阻器阵列上，其中设定的第二规则包括：

20、检测所述多级忆阻器阵列上的每一所述忆阻器阵列是否处于工作状态；所述工作状态是指所述忆阻器阵列正在执行语音转写任务，和/或所述忆阻器阵列对应的任务队列中存在至少一个语音转写任务；

21、当存在至少一个忆阻器阵列未处于工作状态时，将所述音频数据和/所述单人音频分配至任意一个未处于工作状态的忆阻器阵列对应的任务队列上；

22、当所有忆阻器阵列均处于工作状态时，则获取每一所述忆阻器阵列对应的任务队列的总响应值，并将所述音频数据和/或所述单人音频插入至总响应值最低的忆阻器阵列对应的任务队列上。

23、进一步的，所述获取每一所述忆阻器阵列对应的任务队列的总响应值，包括：

24、获取每一所述忆阻器阵列对应的任务队列上所有语音转写任务的总时间和总能耗；

25、获取时间权重系数以及能耗权重系数；所述时间权重系数和所述能耗权重系数之和为1；

26、根据所述时间权重系数、能耗权重系数、总时间和总能耗，确定每一所述忆阻器阵列对应的任务队列的总响应值。

27、进一步的，所述获取每一所述忆阻器阵列对应的任务队列上所有语音转写任务的总时间和总能耗，包括：

28、检测每一所述忆阻器阵列是否存在正在执行的语音转写任务；

29、当忆阻器阵列存在正在执行的语音转写任务时，获取正在执行的语音转写任务的已执行时间和已执行能耗；

30、根据正在执行的语音转写任务的原始时间和原始能耗，并根据原始时间和已执行时间确定剩余时间，以及根据原始能耗和已执行能耗确定剩余能耗；

31、根据所述剩余时间、剩余能耗，以及与其对应的忆阻器阵列的任务队列上所有语音转写任务的时间和能耗，确定该任务队列的总时间和总能耗。

32、进一步的，所述获取每一所述忆阻器阵列对应的任务队列上所有语音转写任务的总时间和总能耗，还包括：

33、检测每一所述忆阻器阵列是否存在执行失败任务；

34、当所述忆阻器阵列存在执行失败任务时，根据所述执行失败任务对应的时间标签插入至该忆阻器阵列对应的任务队列中；

35、根据执行失败任务的时间和能耗，更新该任务队列的上所有语音转写任务的总时间和总能耗。

36、进一步的，所述根据所述时间标签对每一个所述语音转写结果进行排序，形成会议记录，包括：

37、对所述语音转写结果进行检验，判断所述语音转写结果是否正确；

38、如存在错误，则根据错误的语音转写结果的时间标签，查询与其相邻的暂定结果对应的语音数据；

39、对错误的语音转写结果对应的语音数据，以及查询到的相邻的暂定结果对应的语音数据进行整合，得到语音整合数据；

40、对所述语音整合数据进行语音识别，并根据语音识别的结果对错误的语音转写结果进行校正；

41、在确定所有语音转写结果均是准确后，根据每一语音转写结果对应的时间标签对语音转写结果进行排序，形成所述会议记录。

42、本发明还提供了一种多级会议转写系统，其改进之处在于，包括：

43、多路语音采集设备，通过多路语音采集设备采集语音数据，并按照设定的第一规则对语音数据进行分割，得到音频片段；

44、语音信号处理单元，通过语音信号处理单元对多人音频进行分离，得到音频数据；所述多人音频是指包含至少两个不同的说话人的人声数据的音频片段；

45、主控单元，通过主控单元将音频数据按设定的第二规则分配至多级忆阻器阵列；

46、多级忆阻器阵列，包括多个忆阻器阵列，该多级忆阻器阵列在接收到音频数据后，完成音频数据的转写，每个忆阻器阵列对应输出语音转写结果；

47、输出结果单元，将多个忆阻器阵列的语音转写结果汇总至输出结果单元，输出结果单元根据每个语音转写结果所对应的时间标签对其进行排序后，形成会议记录。

48、本发明还提供了一种电子设备，包括：

49、处理器；以及

50、存储器，用于存储所述处理器的可执行指令；

51、其中，所述处理器配置为经由执行所述可执行指令来执行如上所述的基于多级忆阻器阵列的会议转写方法。

52、本发明提供的一种基于多级忆阻器阵列的会议转写方法，通过设置任务调度，该任务调度能够充分考虑不同队列中语音转写任务的总时间和总能耗，能够均衡每一个队列；设置的多级忆阻器阵列能够同时执行多个任务，且加快语音转写的效率；最后，再通过对语音转写结果进行校验和校正处理，能够提高语音转写的准确率，形成准确的会议记录。