技术新讯 > 计算推算,计数设备的制造及其应用技术 > 基于运筹优化方法和大语言模型的逻辑类问答数据生成方法与流程  >  正文

基于运筹优化方法和大语言模型的逻辑类问答数据生成方法与流程

  • 国知局
  • 2024-10-09 15:09:40

本发明涉及逻辑类问答数据生成,特别涉及基于运筹优化方法和大语言模型的逻辑类问答数据生成方法。

背景技术:

1、随着生成式预训练模型的不断发展,大语言模型逐步应用在各个技术领域中。大语言模型通过大量文本数据训练,可以处理多种自然语言任务。大语言模型的能力来自其训练语料,逻辑性强的训练语料可提升大模型处理复杂任务的效果,逻辑推理题目就是一种重要的语料数据。但本申请的发明人发现,互联网上逻辑推理题目数量有限,新数据获取难度大成本高。

2、运筹优化是一种基于运筹学和最优化理论的技术,使用运筹优化中的约束满足求解器和整数优化求解器,可以对复杂的逻辑问题进行建模,模型的解就代表一种可行逻辑链路,无可行解说明对应的逻辑链路不通。

3、为规模化地合成逻辑性强的数据,用于大语言模型的训练,提升其逻辑推理能力,发明人认为如何利用运筹优化问题和逻辑推理题目之间的一一对应关系,通过批量合成运筹优化数学模型,结合大语言模型大规模合成逻辑推理题目,是一个需要解决的重要技术问题,因此,本申请提供了基于运筹优化方法和大语言模型的逻辑类问答数据生成方法来满足需求。

技术实现思路

1、本发明要解决的技术问题是提供基于运筹优化方法和大语言模型的逻辑类问答数据生成方法以解决现有的问题。

2、为解决上述技术问题,本发明提供如下技术方案:

3、基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,包括以下步骤:

4、s100,构建逻辑单元系列,使用运筹优化等方法求解;

5、s200基于大语言模型和预设语料,赋予逻辑单元物理意义;

6、s300基于大语言模型将赋予了物理意义的逻辑单元进行整合,形成逻辑问题;

7、s400基于大语言模型设计逻辑问题的引申变量;

8、s500对其数学模型进行扩展、求解,基于数学模型求解结果形成答案;

9、s600可继续增加引申变量,形成更复杂的逻辑问题;

10、其中,预设语料是从公开文件中收集的实体及其行为数据。

11、优选的,所述逻辑单元是整数变量及其构成的数学关系,包括但不限于等价关系、互斥关系、条件关系等,运筹优化的数学模型使用了整数规划求解器的建模方案,基于pyscipopt、gurobipy、pycopt等python框架,编写python计算机程序进行变量的定义和逻辑关系的约束,逻辑单元对应的数学模型代码可以使用大语言模型生成,使用具有演示案例的提示词可以提升模型生成代码的效果。

12、优选的,所述逻辑单元系列的构建方法,包括但不限于依次随机从逻辑单元库中选择、参考案例生成等,例如:逻辑单元系列采用如下方式生成:随机选取3-5之间的数字作为n,生成零一变量x1,x2,...,xn;再随机选择3组两两关系,如“x1等价x2”,“x2与x3互斥”,“x3是x4大于0的条件”等。

13、优选的,所述运筹优化问题的构建和编程方法,基于逻辑单元系列,使用语言模型和正则表达式,将逻辑单元转变为计算机程序,结合整数规划求解器和约束满足求解器,令程序在计算机中执行,输出计算结果。

14、优选的,使用大语言模型,从预设语料中选取参考场景样例,赋予逻辑单元物理意义,场景样例包括但不限于校园生活、科学研究、行政工作、商务协作等,其中预设语料可以是一些公开的逻辑推理题目的题干。

15、优选的,使用大语言模型,结合依据运筹模型生成的物理意义,整合形成具备可读性的逻辑类问题答题干。

16、优选的,使用大语言模型,参考预设语料中的场景样例,设计逻辑问题的引申变量,引申变量包括但不限于原逻辑问题中某变量的等价变量,互斥变量,随机关联变量等。

17、优选的,基于大模型引入的引申变量,对原有运筹模型进行调整,重新求解,获取引申变量的可能取值,取值的获取方法包括但不限于设定为某些可行值后进行求解验证,判断取值范围。

18、优选的,基于数学模型求解结果设计新的逻辑问题,给出答案。

19、优选的,使用运筹优化和大语言模型,持续增加引申变量,改变问题提问方式,提升问题复杂性,形成更加复杂的逻辑类问答题及其答案数据。

20、本发明与现有技术相比,至少具有如下有益效果:

21、本申请可以创新性地连接大语言模型和运筹优化领域,创新地将逻辑推理问题高效地转换为运筹优化模型,通过大量生成数学模型,结合大语言模型的文本生成能力,批量地制备逻辑推理问题,最后基于数学模型的求解结果生成其匹配的答案,该方法合成的数据,可以用于大语言模型的训练和微调,提升逻辑能力,使其能够提升处理逻辑复杂的任务,本申请可以提供程序化语言,配合自研或者通用求解器,规模化地向大模型企业提供数据,用于模型的训练。

技术特征:

1.基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,所述逻辑单元是整数变量及其构成的数学关系,包括但不限于等价关系、互斥关系、条件关系等,运筹优化的数学模型使用了整数规划求解器的建模方案,基于pyscipopt、gurobipy、pycopt等python框架,编写python计算机程序进行变量的定义和逻辑关系的约束,逻辑单元对应的数学模型代码可以使用大语言模型生成,使用具有演示案例的提示词可以提升模型生成代码的效果。

3.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,所述逻辑单元系列的构建方法,包括但不限于依次随机从逻辑单元库中选择、参考案例生成等,例如:逻辑单元系列采用如下方式生成:随机选取3-5之间的数字作为n,生成零一变量x1,x2,...,xn;再随机选择3组两两关系,如“x1等价x2”,“x2与x3互斥”,“x3是x4大于0的条件”等。

4.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,所述运筹优化问题的构建和编程方法,基于逻辑单元系列,使用语言模型和正则表达式,将逻辑单元转变为计算机程序,结合整数规划求解器和约束满足求解器,令程序在计算机中执行,输出计算结果。

5.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,使用大语言模型,从预设语料中选取参考场景样例,赋予逻辑单元物理意义,场景样例包括但不限于校园生活、科学研究、行政工作、商务协作等,其中预设语料可以是一些公开的逻辑推理题目的题干。

6.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,使用大语言模型,结合依据运筹模型生成的物理意义,整合形成具备可读性的逻辑类问题答题干。

7.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,使用大语言模型,参考预设语料中的场景样例,设计逻辑问题的引申变量,引申变量包括但不限于原逻辑问题中某变量的等价变量,互斥变量,随机关联变量等。

8.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,基于大模型引入的引申变量,对原有运筹模型进行调整,重新求解,获取引申变量的可能取值,取值的获取方法包括但不限于设定为某些可行值后进行求解验证,判断取值范围。

9.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,基于数学模型求解结果设计新的逻辑问题,给出答案。

10.根据权利要求1所述的基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,其特征在于,使用运筹优化和大语言模型,持续增加引申变量,改变问题提问方式,提升问题复杂性,形成更加复杂的逻辑类问答题及其答案数据。

技术总结本发明提供基于运筹优化方法和大语言模型的逻辑类问答数据生成方法,属于逻辑类问答数据生成技术领域;包括S100,构建逻辑单元系列,使用运筹优化等方法求解。本发明可以创新性地连接大语言模型和运筹优化领域,创新地将逻辑推理问题高效地转换为运筹优化模型,通过大量生成数学模型,结合大语言模型的文本生成能力,批量地制备逻辑推理问题,最后基于数学模型的求解结果生成其匹配的答案,该方法合成的数据,可以用于大语言模型的训练和微调,提升逻辑能力,使其能够提升处理逻辑复杂的任务,本申请可以提供程序化语言,配合自研或者通用求解器,规模化地向大模型企业提供数据,用于模型的训练。技术研发人员:李优,顾维玺,姜宝正,邱文瀛受保护的技术使用者:中国工业互联网研究院技术研发日:技术公布日:2024/9/29

本文地址:https://www.jishuxx.com/zhuanli/20241009/307872.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。