推理方法、介质、装置和计算设备与流程

本公开的实施方式涉及计算机，更具体地，本公开的实施方式涉及推理方法、介质、装置和计算设备。

背景技术：

1、本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、大规模语言模型在各种自然语言处理任务中表现出色，广泛应用于问答系统、聊天机器人、文本生成等领域。

3、由于模型本身是由超大规模参数神经网络组成的模型，其训练和推理过程都需要进行超大规模计算，对于底层计算资源的消耗极为巨大，给实际应用带来挑战。例如，当用户在实时场景中等待模型的回复或分析结果时，过长的推理时间可能导致用户体验下降，或者，若快速回复不准确的分析结果也可能导致用户体验下降。

4、因此，如何在推理过程中提升推理效率的情况下保证推理质量成为亟待解决的技术问题。

技术实现思路

1、本公开提供一种推理方法、介质、装置和计算设备，以实现在提高推理处理时推理效率的前提下保证推理质量。

2、在本公开实施方式的第一方面中，提供了一种方法，包括：确定待处理的推理提示词，生成所述推理提示词对应的推理词；

3、根据所述推理提示词生成候选推理词语料库，根据所述候选推理词语料库和所述推理提示词，确定至少一个候选推理词；

4、根据所述推理提示词和所述推理词对生成的候选推理词进行推理验证，根据通过推理验证的各所述候选推理词和所述推理词生成所述推理提示词对应的推理结果。

5、在本公开的一个实施例中，所述生成所述推理提示词对应的推理词，包括：

6、根据训练后的大语言推理模型对所述推理提示词进行词汇推理，生成所述推理提示词对应的推理词。

7、在本公开的另一个实施例中，所述根据所述推理提示词生成候选推理词语料库，包括：

8、确定所述推理提示词所属的领域，根据所述推理提示词和所述领域对应的领域语料生成第一子语料库，以及根据预先获取到的通用语料生成第二子语料库；

9、对于任一子语料库，根据预设的滑动窗口在当前子语料库中进行词汇选取，生成所述当前子语料库中的多个词组；任一词组均包括提示词和待采纳推理词；

10、确定各所述词组中的待采纳推理词在当前子语料库中对应的子推理概率；

11、对于任一待采纳推理词，获取各子语料库分别对应的推理权重，根据各所述推理权重和各所述子推理概率，确定各所述待采纳推理词对应的推理概率，根据各所述待采纳推理词和各所述推理概率生成候选推理词语料库。

12、在本公开的再一实施例中，所述确定各所述词组中的待采纳推理词在当前子语料库中对应的子推理概率，包括：

13、对于任一词组中的提示词，确定所述提示词对应的至少一个待采纳推理词；

14、分别确定各所述待采纳推理词在当前子语料库中的频次；所述频次包括当前词组中的待采纳推理词在当前子语料库中对应的第一频次，以及所述当前子语料库中其他各所述词组中的待采纳推理词在当前子语料库中对应的第二频次；

15、根据所述第一频次和各所述第二频次，确定所述词组中包含的待采纳推理词在当前子语料库中对应的子推理概率。

16、在本公开的再一个实施例中，所述根据所述候选推理词语料库和所述推理提示词，确定至少一个候选推理词，包括：

17、根据所述推理提示词和所述推理词，生成候选推理提示词；

18、根据所述候选推理提示词，在所述候选推理词语料库中进行候选词汇推理，确定至少一个候选推理词。

19、在本公开的再一个实施例中，所述根据所述推理提示词和所述推理词，生成候选推理提示词，包括：

20、根据所述推理提示词和所述推理词，生成候选推理提示词序列；

21、根据预设长度的回溯窗口和所述候选推理提示词序列，生成候选推理提示词。

22、在本公开的再一个实施例中，所述候选推理词语料库中包含多个由提示词和待采纳推理词组成的词组，各所述词组中的待采纳推理词设定有对应的推理概率，所述推理概率为在所述候选推理词语料库中对当前词组中的提示词进行推理，得到所述当前词组中的待采纳推理词的概率；

23、所述根据所述候选推理提示词，在候选推理词语料库中进行候选词汇推理，确定至少一个候选推理词，包括：

24、在候选推理词语料库中，确定与所述候选推理提示词匹配的提示词；

25、根据各所述词组，确定所述提示词对应的至少一个待采纳推理词；

26、根据各所述待采纳推理词分别对应的推理概率确定所述候选推理提示词对应至少一个的候选推理词。

27、在本公开的再一个实施例中，所述根据所述推理提示词和所述推理词对生成的候选推理词进行推理验证，根据通过推理验证的各所述候选推理词和所述推理词生成所述推理提示词对应的推理结果，包括：

28、根据所述推理提示词和所述推理词，对生成的候选推理词执行下述推理验证步骤，直至当前候选推理词未通过推理验证时，停止验证；

29、根据所述当前候选推理词之前通过验证的各所述候选推理词和所述推理词生成所述推理提示词对应的推理结果；

30、其中，所述推理验证步骤，包括：

31、根据所述推理提示词和当前的推理词生成新增推理提示词，生成所述新增推理提示词对应的新增推理词；

32、若所述新增推理词和所述当前候选推理词匹配，则确定所述当前候选推理词通过验证，根据所述推理词和所述当前候选推理词生成新的推理词。

33、在本公开的再一个实施例中，在根据所述推理词和所述当前候选推理词生成新的推理词之后，所述方法还包括：

34、间隔预设周期后，根据所述新的推理词和所述推理提示词更新所述候选推理词语料库。

35、在本公开实施方式的第二方面中，提供了一种装置，包括：

36、推理词确定模块，用于确定待处理的推理提示词，生成所述推理提示词对应的推理词；

37、候选推理词确定模块，用于根据所述推理提示词生成候选推理词语料库，根据所述候选推理词语料库和所述推理提示词，确定至少一个候选推理词；

38、推理结果生成模块，用于根据所述推理提示词和所述推理词对生成的候选推理词进行推理验证，根据通过推理验证的各所述候选推理词和所述推理词生成所述推理提示词对应的推理结果。

39、在本公开的一个实施例中，推理词确定模块，包括：

40、推理词生成子模块，用于根据训练后的大语言推理模型对所述推理提示词进行词汇推理，生成所述推理提示词对应的推理词。

41、在本公开的另一个实施例中，候选推理词确定模块，包括：

42、子语料库生成子模块，用于确定所述推理提示词所属的领域，根据所述推理提示词和所述领域对应的领域语料生成第一子语料库，以及根据预先获取到的通用语料生成第二子语料库；

43、词组生成子模块，用于对于任一子语料库，根据预设的滑动窗口在当前子语料库中进行词汇选取，生成所述当前子语料库中的多个词组；任一词组均包括提示词和待采纳推理词；

44、子推理概率确定子模块，用于确定各所述词组中的待采纳推理词在当前子语料库中对应的子推理概率；

45、候选推理词语料库生成子模块，用于对于任一待采纳推理词，获取各子语料库分别对应的推理权重，根据各所述推理权重和各所述子推理概率，确定各所述待采纳推理词对应的推理概率，根据各所述待采纳推理词和各所述推理概率生成候选推理词语料库。

46、在本公开的再一实施例中，子推理概率确定子模块，包括：

47、待采纳推理词确定单元，用于对于任一词组中的提示词，确定所述提示词对应的至少一个待采纳推理词；

48、推理词频次确定单元，用于分别确定各所述待采纳推理词在当前子语料库中的频次；所述频次包括当前词组中的待采纳推理词在当前子语料库中对应的第一频次，以及所述当前子语料库中其他各所述词组中的待采纳推理词在当前子语料库中对应的第二频次；

49、子推理概率确定单元，用于根据所述第一频次和各所述第二频次，确定所述词组中包含的待采纳推理词在当前子语料库中对应的子推理概率。

50、在本公开的再一个实施例中，候选推理词确定模块，包括：

51、候选推理提示词生成子模块，用于根据所述推理提示词和所述推理词，生成候选推理提示词；

52、候选推理词确定子模块，用于根据所述候选推理提示词，在所述候选推理词语料库中进行候选词汇推理，确定至少一个候选推理词。

53、在本公开的再一个实施例中，候选推理提示词生成子模块，包括：

54、次序列生成单元，用于根据所述推理提示词和所述推理词，生成候选推理提示词序列；

55、候选推理提示词生成单元，用于根据预设长度的回溯窗口和所述候选推理提示词序列，生成候选推理提示词。

56、在本公开的再一个实施例中，所述候选推理词语料库中包含多个由提示词和待采纳推理词组成的词组，各所述词组中的待采纳推理词设定有对应的推理概率，所述推理概率为在所述候选推理词语料库中对当前词组中的提示词进行推理，得到所述当前词组中的待采纳推理词的概率；

57、所述候选推理词确定子模块，包括：

58、提示词确定单元，用于在候选推理词语料库中，确定与所述候选推理提示词匹配的提示词；

59、待采纳推理词确定单元，用于根据各所述词组，确定所述提示词对应的至少一个待采纳推理词；

60、候选推理词确定单元，用于根据各所述待采纳推理词分别对应的推理概率确定所述候选推理提示词对应至少一个的候选推理词。

61、在本公开的再一个实施例中，推理结果生成模块，包括：

62、推理验证子模块，用于根据所述推理提示词和所述推理词，对生成的候选推理词执行下述推理验证步骤，直至当前候选推理词未通过推理验证时，停止验证；

63、推理结果生成子模块，用于根据所述当前候选推理词之前通过验证的各所述候选推理词和所述推理词生成所述推理提示词对应的推理结果；

64、其中，所述推理验证步骤，包括：

65、根据所述推理提示词和当前的推理词生成新增推理提示词，生成所述新增推理提示词对应的新增推理词；

66、若所述新增推理词和所述当前候选推理词匹配，则确定所述当前候选推理词通过验证，根据所述推理词和所述当前候选推理词生成新的推理词。

67、在本公开的再一个实施例中，所述装置还包括：

68、候选推理词语料库更新模块，用于在根据所述推理词和所述当前候选推理词生成新的推理词之后，间隔预设周期后，根据所述新的推理词和所述推理提示词更新所述候选推理词语料库。

69、在本公开实施方式的第三方面中，提供了一种介质，包括：该介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一个实施例所述的方法。

70、在本公开实施方式的第四方面中，提供了一种计算设备，包括：

71、处理器以及与所述处理器通信连接的存储器；

72、所述存储器存储计算机执行指令；

73、所述处理器在执行所述计算机执行指令时用于实现如第一方面任一个实施例所述的方法。

74、在本公开实施方式公开的方案中，对待处理的推理提示词进行推理生成作为推理结果的推理词；与此同时，还可以基于推理提示词生成推理过程中为提高推理速度所需的候选推理词语料库，进而根据候选推理词语料库生成至少一个候选推理词；以后续得到包含多个推理词汇的推理结果，实现提高推理效率；进一步的，对候选推理词进行推理验证，根据通过推理验证的各所述候选推理词和所述推理词生成所述推理提示词对应的推理结果；通过验证提高推理结果中各推理词汇的准确性，实现进行推理处理时推理效率的前提下保证推理质量。