自然语言模型的生成方法和数据处理方法与流程

本技术涉及人工智能，具体而言，涉及一种自然语言模型的生成方法和数据处理方法。

背景技术：

1、自然语言模型通过逐步推理展现出惊人的解决问题的能力。然而，它们在处理更复杂的问题时往往会出错，这些错误会影响后续的逐步推理路径。在现有技术中缺乏对自然语言模型的推理模型进行训练的方法，使得自然语言模型答复问题的准确性比较低。

2、针对上述相关技术由于自然语言模型的推理能力较差导致自然语言模型答复问题的准确性比较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种自然语言模型的生成方法和数据处理方法，以至少解决相关技术中由于自然语言模型的推理能力较差导致自然语言模型答复问题的准确性比较低的技术问题。

2、根据本技术实施例的一方面，提供了一种自然语言模型的生成方法，包括：获取所述样本问题，并获取所述样本问题对应的推理路径集合，其中，所述推理路径集合中至少包括：参考推理路径和推理路径分支对，所述参考推理路径包括答复所述样本问题的真实答复信息，所述推理路径分支对包括第一推理路径分支和第二推理路径分支，所述第一推理路径分支为通向所述真实答复信息的路径分支，所述第二推理路径分支为不能通向所述真实答复信息的路径分支；依据所述样本问题和所述推理路径集合构建所述目标训练集；依据所述目标训练集对初始自然语言模型进行训练，得到所述目标自然语言模型。

3、进一步地，获取所述样本问题对应的推理路径集合包括：依据所述样本问题和思维链提示，生成思维链式示例，其中，所述思维链式示例包括：所述样本问题和所述样本问题对应的思维链式推理路径组成，所述思维链式推理路径中包括答复所述样本问题的真实答复信息；通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理，判断是否能够得到所述样本问题对应的所述参考推理路径；在能够得到所述样本问题对应的所述参考推理路径的情况下，依据所述样本问题、所述参考推理路径和所述思维链式示例，得到所述推理路径分支对；依据所述参考推理路径和所述推理路径分支对，得到所述推理路径集合。

4、进一步地，通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理，判断是否能够得到所述样本问题对应的所述参考推理路径包括：通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理，得到第一推理路径；依据所述第一推理路径是否能够推理得到所述真实答复信息，判断是否能够得到所述样本问题对应的所述参考推理路径。

5、进一步地，依据所述样本问题、所述参考推理路径和所述思维链式示例，得到所述推理路径分支对包括：依据所述参考推理路径，得到参考推理子路径集合；依据所述样本问题、所述参考推理子路径集合和所述思维链式示例，以所述参考推理子路径集合的参考推理子路径中的最后一个推理步骤为起点采样生成推理路径分支，得到所述参考推理子路径集合的参考推理子路径对应的多个推理路径分支；依据所述多个推理路径分支，得到所述第一推理路径分支和所述第二推理路径分支；依据所述第一推理路径分支和所述第二推理路径分支，得到所述推理路径分支对。

6、进一步地，依据所述目标训练集对初始自然语言模型进行训练，得到所述目标自然语言模型包括：通过所述初始自然语言模型对所述目标训练集进行处理，得到目标预测推理路径；依据所述目标预测推理路径，得到目标损失函数；依据所述目标损失函数对初始自然语言模型进行训练，得到所述目标自然语言模型。

7、进一步地，通过所述初始自然语言模型对所述目标训练集进行处理，得到目标预测推理路径包括：通过所述初始自然语言模型对所述样本问题进行处理，得到第二推理路径；通过所述初始自然语言模型对所述样本问题和所述参考推理路径的参考推理子路径集合进行处理，得到第三推理路径；依据所述第二推理路径和所述第三推理路径，得到所述目标预测推理路径。

8、进一步地，依据所述目标预测推理路径，得到目标损失函数包括：依据所述第二推理路径和所述参考推理路径进行计算，得到参考路径损失函数；依据所述第三推理路径和所述推理路径分支对进行计算，得到分支损失函数；依据所述参考路径损失函数和分支损失函数，得到所述目标损失函数。

9、进一步地，依据所述第三推理路径和所述推理路径分支对进行计算，得到分支损失函数包括：依据所述第三推理路径和所述第一推理路径分支进行计算，得到第一损失函数；依据所述第三推理路径和所述第二推理路径分支进行计算，得到第二损失函数；依据所述第一损失函数和所述第二损失函数进行计算，得到所述分支损失函数。

10、根据本技术实施例的另一方面，提供了一种数据处理方法，包括：获取目标对象输入的问题信息；通过目标自然语言模型对所述问题信息进行推理分析，得到目标推理路径，其中，所述目标自然语言模型依据上述任意一项所述的自然语言模型的生成方法得到，所述目标推理路径由从所述问题信息推导至所述问题信息对应的答复信息的逻辑步骤组成，所述目标自然语言模型由目标训练集得到，所述目标训练集由样本问题和所述样本问题对应的推理路径集合组成；将所述目标推理路径返回至所述目标对象。

11、进一步地，通过目标自然语言模型对所述问题信息进行推理分析，得到目标推理路径包括：通过所述目标自然语言模型基于所述问题信息进行推理分析，生成多个候选推理路径，其中，所述候选推理路径中包括所述问题信息对应的答复信息；通过所述目标自然语言模型从所述多个候选推理路径中，确定目标推理路径。

12、根据本技术实施例的另一方面，还提供了一种数据处理方法，包括：获取客户端发送的问题信息；在云端服务器中通过目标自然语言模型对所述问题信息进行推理分析，得到目标推理路径，其中，所述目标推理路径由从所述问题信息推导至所述问题信息对应的答复信息的逻辑步骤组成，所述目标自然语言模型由目标训练集得到，所述目标训练集由样本问题和所述样本问题对应的推理路径集合组成；将所述目标推理路径返回至所述客户端。

13、根据本技术实施例的另一方面，还提供了一种自然语言模型的生成装置，包括：第一获取单元，用于获取样本问题，并获取所述样本问题对应的推理路径集合，其中，所述推理路径集合中至少包括：参考推理路径和推理路径分支对，所述参考推理路径包括答复所述样本问题的真实答复信息，所述推理路径分支对包括第一推理路径分支和第二推理路径分支，所述第一推理路径分支为通向所述真实答复信息的路径分支，所述第二推理路径分支为不能通向所述真实答复信息的路径分支；构建单元，用于依据所述样本问题和所述推理路径集合构建所述目标训练集；训练单元，用于依据所述目标训练集对初始自然语言模型进行训练，得到所述目标自然语言模型，其中，所述目标自然语言模型用于对目标对象输入的问题信息进行答复。

14、进一步地，第一获取单元包括：生成子单元，用于依据所述样本问题和思维链提示，生成思维链式示例，其中，所述思维链式示例包括：所述样本问题和所述样本问题对应的思维链式推理路径组成，所述思维链式推理路径中包括答复所述样本问题的真实答复信息；处理子单元，用于通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理，判断是否能够得到所述样本问题对应的所述参考推理路径；第一确定子单元，用于在能够得到所述样本问题对应的所述参考推理路径的情况下，依据所述样本问题、所述参考推理路径和所述思维链式示例，得到所述推理路径分支对；第二确定子单元，用于依据所述参考推理路径和所述推理路径分支对，得到所述推理路径集合。

15、进一步地，处理子单元包括：处理模块，用于通过所述初始自然语言模型对所述样本问题和所述思维链式示例进行处理，得到第一推理路径；判断模块，用于依据所述第一推理路径是否能够推理得到所述真实答复信息，判断是否能够得到所述样本问题对应的所述参考推理路径。

16、进一步地，第一确定子单元包括：第一确定模块，用于依据所述参考推理路径，得到参考推理子路径集合；采样模块，用于依据所述样本问题、所述参考推理子路径集合和所述思维链式示例，以所述参考推理子路径集合的参考推理子路径中的最后一个推理步骤为起点采样生成推理路径分支，得到所述参考推理子路径集合的参考推理子路径对应的多个推理路径分支；第二确定模块，用于依据所述多个推理路径分支，得到所述第一推理路径分支和所述第二推理路径分支；第三确定模块，用于依据所述第一推理路径分支和所述第二推理路径分支，得到所述推理路径分支对。

17、进一步地，训练单元包括：处理子单元，用于通过所述初始自然语言模型对所述目标训练集进行处理，得到目标预测推理路径；第三确定子单元，用于依据所述目标预测推理路径，得到目标损失函数；训练子单元，用于依据所述目标损失函数对初始自然语言模型进行训练，得到所述目标自然语言模型。

18、进一步地，处理子单元包括：第一处理模块，用于通过所述初始自然语言模型对所述样本问题进行处理，得到第二推理路径；第二处理模块，用于通过所述初始自然语言模型对所述样本问题和所述参考推理路径的参考推理子路径集合进行处理，得到第三推理路径；第四确定模块，用于依据所述第二推理路径和所述第三推理路径，得到所述目标预测推理路径。

19、进一步地，第三确定子单元包括：第一计算模块，用于依据所述第二推理路径和所述参考推理路径进行计算，得到参考路径损失函数；第二计算模块，用于依据所述第三推理路径和所述推理路径分支对进行计算，得到分支损失函数；第五确定模块，用于依据所述参考路径损失函数和分支损失函数，得到所述目标损失函数。

20、进一步地，第二计算模块包括：第一计算子模块，用于依据所述第三推理路径和所述第一推理路径分支进行计算，得到第一损失函数；第二计算子模块，用于依据所述第三推理路径和所述第二推理路径分支进行计算，得到第二损失函数；第三计算子模块，用于依据所述第一损失函数和所述第二损失函数进行计算，得到所述分支损失函数。

21、根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：第二获取单元，用于获取目标对象输入的问题信息；推理单元，用于通过目标自然语言模型对所述问题信息进行推理分析，得到目标推理路径，其中，所述目标自然语言模型依据上述任意一项所述的自然语言模型的生成方法得到，所述目标推理路径由从所述问题信息推导至所述问题信息对应的答复信息的逻辑步骤组成；返回单元，用于将所述目标推理路径返回至所述目标对象。

22、进一步地，推理单元包括：推理子单元，用于通过所述目标自然语言模型基于所述问题信息进行推理分析，生成多个候选推理路径，其中，所述候选推理路径中包括所述问题信息对应的答复信息；第四确定子单元，用于通过所述目标自然语言模型从所述多个候选推理路径中，确定目标推理路径。

23、根据本发明实施例的另一方面，还提供了一种电子设备，包括存储器，存储有可执行程序；处理器，用于运行所述程序，其中，所述程序运行时执行上述任意一项所述的自然语言模型的生成方法，或数据处理方法。

24、根据本发明实施例的另一方面，还提供了计算机程序产品，所述计算机程序产品包括存储的计算机程序，在所述计算机程序由处理器运行时，实现上述任意一项中任意一项所述的自然语言模型的生成方法，或数据处理方法。

25、在本技术实施例中，采用以下步骤：获取样本问题，并获取所述样本问题对应的推理路径集合，其中，所述推理路径集合中至少包括：参考推理路径和推理路径分支对，所述参考推理路径包括答复所述样本问题的真实答复信息，所述推理路径分支对包括第一推理路径分支和第二推理路径分支，所述第一推理路径分支为通向所述真实答复信息的路径分支，所述第二推理路径分支为不能通向所述真实答复信息的路径分支；依据所述样本问题和所述推理路径集合构建所述目标训练集；依据所述目标训练集对初始自然语言模型进行训练，得到所述目标自然语言模型，其中，所述目标自然语言模型用于对目标对象输入的问题信息进行答复，解决了相关技术中由于自然语言模型的推理能力较差导致自然语言模型答复问题的准确性比较低的技术问题。

26、在本方案中，根据样本问题进行推理分析得到对应的推理路径集合，通过样本问题和样本问题对应的推理路径集合对初始自然语言模型进行训练得到目标自然语言模型，能够有效探索给定问题的潜在解空间，以及增强自然语言模型的内在推理能力，进而达到提高自然语言模型答复问题的准确性的效果。