基于预训练模型的问答方法、系统、装置、介质以及产品与流程

本发明涉及人工智能，特别是涉及一种基于预训练模型的问答方法、系统、装置、介质以及产品。

背景技术：

1、随着计算资源的不断增加，对应预训练模型的参数迭代升级，使得预训练模型的推理能力得到显著提升。

2、传统的预训练模型在自然语言推理方面已经达到较好的效果，由于数学推理要求较高的精确性和逻辑性，传统的预训练模型在运用逻辑推理过程解决数学问题的数学推理方面对应的输出结果的准确率较低，例如，无法正确比较9.11和9.9的大小。

3、因此，如何提高预训练模型在数学推理方面的准确率是本领域技术人员亟需要解决的技术问题。

技术实现思路

1、本发明的目的是提供一种基于预训练模型的问答方法、系统、装置、介质以及产品，以解决数学推理问题方面对应的预训练模型的准确率低的技术问题。

2、为解决上述技术问题，本发明提供一种基于预训练模型的问答方法，包括：

3、获取数学推理问题对应的问答题目数据集；

4、将问答题目数据集输入至预训练模型的注意力层得到第一初始结果；将所述第一初始结果输入至矫正层得到第二初始结果；将所述第二初始结果输入至多专家前馈层得到第三初始结果；将所述第三初始结果输入至所述矫正层得到所述预训练模型的应答信息；

5、输出所述应答信息；

6、其中，所述预训练模型的构建过程，包括：将第一问答题目数据集输入至初始预训练模型得到第一结果；通过代理引擎对所述第一结果中存在错误结果进行矫正得到第二问答题目数据集；将第二问答题目数据集对应初始预训练模型输出的第一问答信息进行强化学习处理以反馈至初始预训练模型，并对初始预训练模型进行模型参数微调处理得到所述预训练模型。

7、一方面，所述问答题目数据集的获取过程，包括：

8、获取第三问答题目数据集；

9、将第三问答题目数据集输入至初始预训练模型得到第二结果；

10、通过所述代理引擎对所述第二结果中存在错误结果进行矫正得到所述问答题目数据集。

11、另一方面，通过代理引擎对所述第一结果中存在错误结果进行矫正得到第二问答题目数据集，包括：

12、将第一结果进行非贪婪采样处理得到多个第二结果；

13、在多个第二结果中筛选小于阈值的目标第二结果，其中，所述阈值用于表征所述第二结果对应的结果质量标准；所述目标第二结果为错误结果；

14、通过所述代理引擎对所述目标第二结果进行矫正处理得到第三结果；

15、将所述第三结果和第二结果中除目标第二结果之外的结果作为所述第二问答题目数据集。

16、另一方面，所述预训练模型内的矫正层包括门控模型和推理引擎；其中，所述推理引擎用于对输入的结果数据进行逻辑矫正和规则约束。

17、另一方面，所述推理引擎至少为逻辑推理引擎、几何推理引擎、外部公式工具引擎；所述推理引擎由基础模型组成；所述逻辑推理引擎由奖励模型的基础模型构成；

18、对应地，所述第一初始结果在矫正层的矫正处理过程，包括：

19、将第一初始结果通过门控模型进行筛选分类以确定对应的目标推理引擎；

20、将第一初始结果分配至所述目标推理引擎进行推理分析矫正得到第二初始结果。

21、另一方面，将第一初始结果通过门控模型进行筛选分类以确定对应的目标推理引擎，包括：

22、通过所述门控模型对所述第一初始结果进行通道分类；其中，所述通道分类与所述推理引擎的类型呈一对多关系；

23、根据通道分类确定的目标推理引擎进行合并；

24、将分类后的第一初始结果对应的数据输入至对应的合并后的所述目标推理引擎。

25、另一方面，将第一初始结果通过门控模型进行筛选分类以确定对应的目标推理引擎，包括：

26、通过所述门控模型对所述第一初始结果进行通道分类；其中，所述通道分类与所述推理引擎的类型呈一一对应的关系；

27、将分类后的第一初始结果对应的数据输入至对应的所述目标推理引擎。

28、另一方面，将第二问答题目数据集对应初始预训练模型输出的第一问答信息进行强化学习处理以反馈至初始预训练模型，包括：

29、将第一问答信息输入至奖励模型得到第五结果；

30、根据所述第五结果对所述初始预训练模型进行评估反馈对应的目标模型参数；

31、通过近端策略优化训练模型对所述第五结果对应的奖励数据进行优化以反馈至所述初始预训练模型。

32、另一方面，将第一问答信息输入至奖励模型得到第五结果，包括：

33、将第一问答信息输入至指令奖励模型得到第一子结果；

34、将第一问答信息输入至监督奖励模型得到第二子结果；

35、将第一子结果和第二子结果作为所述第五结果。

36、另一方面，所述问答题目数据集至少包括算数维度、文字数学维度、几何推理维度和定理证明维度对应的数据集。

37、为解决上述技术问题，本发明还提供一种基于预训练模型的问答系统，包括多个计算节点；

38、其中，各计算节点均部署预训练模型；

39、所述计算节点，用于将问答题目数据集输入至预训练模型的注意力层得到第一初始结果；将所述第一初始结果输入至矫正层得到第二初始结果；将所述第二初始结果输入至多专家前馈层得到第三初始结果；将所述第三初始结果输入至所述矫正层得到所述预训练模型的应答信息；

40、将各所述计算节点得到的应答信息进行输出；

41、其中，所述预训练模型的构建过程，包括：将第一问答题目数据集输入至初始预训练模型得到第一结果；通过代理引擎对所述第一结果中存在错误结果进行矫正得到第二问答题目数据集；将第二问答题目数据集对应初始预训练模型输出的第一问答信息进行强化学习处理以反馈至初始预训练模型，并对初始预训练模型进行模型参数微调处理得到所述预训练模型。

42、一方面，应用于分布式模型推理系统。

43、为解决上述技术问题，本发明还提供一种基于预训练模型的问答装置，包括：

44、存储器，用于存储计算机程序；

45、处理器，用于执行所述计算机程序时实现如上述所述的基于预训练模型的问答方法的步骤。

46、为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的基于预训练模型的问答方法的步骤。

47、为解决上述技术问题，本发明还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述所述基于预训练模型的问答方法的步骤。

48、本发明提供一种基于预训练模型的问答方法，获取数学推理问题对应的问答题目数据集；将问答题目数据集输入至预训练模型的注意力层得到第一初始结果；将第一初始结果输入至矫正层得到第二初始结果；将第二初始结果输入至多专家前馈层得到第三初始结果；将第三初始结果输入至矫正层得到预训练模型的应答信息；输出应答信息；其中，预训练模型的构建过程，包括：将第一问答题目数据集输入至初始预训练模型得到第一结果；通过代理引擎对第一结果中存在错误结果进行矫正得到第二问答题目数据集；将第二问答题目数据集对应初始预训练模型输出的第一问答信息进行强化学习处理以反馈至初始预训练模型，并对初始预训练模型进行模型参数微调处理得到预训练模型。

49、本发明的有益效果在于针对于数学推理问题的问答，提供较为专业的数学推理对应的问答题目数据集，以训练更专业的数学推理模型。在预训练模型的注意力层和多专家前馈层的结果输出后加入额外的矫正层，以针对于对应的初始结果完成一次矫正，提高该预训练模型在数学推理过程中的精度。在预训练模型的构建过程中，通过代理引擎对第一结果存在错误结果进行矫正，实现在数据集上的矫正过程，通过强化学习处理的微调处理初始预训练模型的模型参数，使得模型能够更加准确进行数学计算和过程解析，提高模型在数学推理方面的准确性。

50、其次，问答题目数据集的矫正过程，对数据集实现了微调，提高数据集的质量，以便于在后续得到的第一初始结果的准确性提高。通过代理引擎对错误结果进行矫正，完成第二问答题目数据集的微调过程，提高数据集在后续的初始预训练模型的预测准确率。矫正层的矫正过程，提高预训练模型在数学推理过程中的精准度，基于注意力层和多专家前馈层均设置矫正层，使得每次输出的结果均进行矫正，提高后续的结果预测的准确率。在目标推理引擎为多个的情况下，将多个目标推理引擎进行合并后得到一个推理引擎，为第一初始结果进行处理得到第二初始结果，提高数据处理的灵活性。目标推理引擎为一个的情况下，分配到指定的目标推理引擎进行处理以得到第二初始结果，进一步提高数据矫正的准确性。通过强化学习处理方式的微调策略，使得预训练模型更加准确进行数学计算和过程分析，提高数据推理的准确性。

51、另外，本发明还提供了一种基于预训练模型的问答系统、装置、介质以及产品，具有如上述基于预训练模型的问答方法相同的有益效果。