一种基于双向关系集成图的常识知识生成方法、系统、存储介质及终端

本发明涉及数据处理领域，尤其涉及一种基于双向关系集成图的常识知识生成方法、系统、存储介质及终端。

背景技术：

1、在许多知识密集型应用中，常识知识图谱获取(commonsense knowledge graphacquisition，ckga)是至关重要的。传统的ckga方法依赖于节点级别和单向关系，使其在实体与关系之间的理解上存在浅薄之处。此外，这些方法还需要昂贵且劳动密集的人工注释，导致生成的常识知识缺乏多样性和质量。

2、现有的ckga方法主要有以下几类：

3、1.基于众包的方法：例如，wordnet和conceptnet，通过人类专家或大众群体的标注来获取高质量的常识知识。然而，这些方法的成本高昂，且难以大规模扩展。

4、2.基于语言模式的方法：通过从文本中提取的模式来获取常识知识，这些方法通常包含复杂的工程流程，如文档检索、基于规则的抽取和知识聚类。这类方法的质量不稳定，因为每一步骤的效果都会显著影响最终结果。

5、3.基于语言模型(lm)的方法：利用预训练语言模型(如gpt系列)生成知识，这些方法通过精心设计的提示词查询模型，以生成符合特定关系的知识。然而，现有方法通常处理节点级别关系，忽略了反向关系的语义，从而导致模型在理解关系时存在局限性。

6、除上述几种流行的方法之外，基于大语言模型(large language models，llms)如chatgpt、gpt-4等的补全方法，已经展示出处理各种复杂问题的潜力。然而，直接利用这些模型进行常识知识生成存在质量、格式和新颖性问题。

7、综上，现有技术的缺陷和不足如下：

8、1.成本高，规模有限

9、传统的众包方法虽然能够获得高质量的常识资源，但其劳动强度和成本限制了资源的可扩展性。基于语言模式的方法虽然在一定程度上解决了成本问题，但其生成的知识质量和稳定性受限于文本选择、提取策略等多个步骤的影响。

10、2.单向关系的局限

11、现有方法大多关注单向关系(如a是b的一部分)，忽略了反向关系(如b包含a)。这种局限导致知识图谱在处理复杂推理任务时存在明显缺陷。例如，学习“a是b”时未必能自动推理出“b是a”，这种问题被称为“反转诅咒”(reversal curse)。

12、3.语义理解不足

13、现有方法在处理常识知识时多采用节点级别的处理方式，直接将实体和关系输入模型，这种方式未能充分利用上下文信息，导致语义理解不够深刻。例如，许多方法在处理文本时未能有效结合上下文的语义信息，导致知识抽取的效果不理想。

14、4.人工标注的高成本

15、基于众包的方法虽然能够获取高质量的常识知识，但对人工注释的依赖较大，其过程费时费力，成本高昂，限制了资源的规模和扩展性。

16、5.生成质量和多样性不足

17、现有方法生成的常识知识在质量和多样性上存在不足，往往需要进一步的人工验证和调整。

18、6.缺乏系统化解决方案

19、现有的对比学习方法在知识图谱补全任务中取得了一定成效，但大多数方法只关注某个特定的方面，如优化模型架构或改进学习算法，缺乏一个综合的、闭环的系统解决方案。

技术实现思路

1、本发明的目的在于克服现有技术中存在的至少一个技术问题，提供了一种基于双向关系集成图的常识知识生成方法、系统、存储介质及终端，实现生成高质量的常识知识。

2、本发明的目的是通过以下技术方案来实现的：

3、第一方面，提供一种基于双向关系集成图的常识知识生成方法，所述方法包括以下步骤：

4、s1、构建双向关系数据集：通过引入反向关系构建对称图；

5、s2、对比预训练：利用正反向对比学习增强模型对常识知识的双向理解；

6、s3、指令调优：在对比预训练的基础上进行任务驱动的指令调优，确保模型有效生成符合要求的常识知识；

7、s4、判断调优后的模型是否达标，若不达标，则返回步骤s3继续调优；

8、s5、使用调好的模型生成新知识。

9、优选地，所述方法还包括步骤：

10、s6、判断生成的新知识是否合理。

11、优选地，构建双向关系数据集，包括：

12、使用种子数据集和模板句子生成正向和反向三元组。

13、优选地，所述对比预训练包括：

14、利用正反向对比学习，计算正向样本与负样本相似度，优化对比学习损失函数，更新模型权重。

15、优选地，所述指令调优包括：

16、构建正向指令微调数据集、反向指令微调数据集以及二分类指令微调数据集；

17、使用三种指令微调数据集进行指令微调，三种任务的比例是8:1:1。

18、优选地，所述判断调优后的模型是否达标，包括：

19、通过初步过滤和多层评分机制，确保生成知识的准确性和新颖性。

20、优选地，基于偏见去除的bert模型进行初步过滤，多层评分机制采用结合三级评分制度和新颖度计算的评分模型。

21、第二方面，提供一种基于双向关系集成图的常识知识生成系统，所述系统包括：

22、双向关系数据集构建模块，用于构建双向关系数据集，其中通过引入反向关系构建对称图；

23、对比预训练模块，用于对比预训练，其中利用正反向对比学习增强模型对常识知识的双向理解；

24、指令调优模块，用于指令调优，其中在对比预训练的基础上进行任务驱动的指令调优，确保模型有效生成符合要求的常识知识；

25、模型调优判断模块，用于判断调优后的模型是否达标，若不达标，则返回指令调优模块继续调优；

26、新知识生成模块，用于使用调好的模型生成新知识。

27、第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现任意一项所述的常识知识生成方法。

28、第四方面，提供一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，处理器运行计算机指令时执行所述的常识知识生成方法。

29、需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。

30、与现有技术相比，本发明通过引入双向关系集成图对比预训练方法(birght)，在常识知识图谱获取领域展现出显著的优势，主要有益效果如下：

31、1.解决了成本高、规模有限的问题

32、传统的众包方法虽然能够获得高质量的常识资源，但其劳动强度和成本限制了资源的可扩展性。本发明通过引入大语言模型(large language models,llms)，如chatgpt、gpt-4等，利用对比预训练和任务驱动的指令调优，降低了知识获取的成本，扩大了知识图谱的规模。

33、2.克服了单向关系的局限性

34、现有方法大多关注单向关系(如a是b的一部分)，忽略了反向关系(如b包含a)。这种局限导致知识图谱在处理复杂推理任务时存在明显缺陷。本发明通过构建正向和反向关系的对称图，利用双向关系集成图，确保模型能够同时学习正向和反向关系，解决了“反转诅咒”(reversal curse)问题，提高了模型的关系理解能力。

35、3.提高了语义理解深度

36、现有方法在处理常识知识时多采用节点级别的处理方式，直接将实体和关系输入模型，未能充分利用上下文信息，导致语义理解不够深刻。本发明通过设计自然语言模板句，将每种关系转化为多样化的句子模板，增强了模型对上下文的理解能力，从而提高了语义理解的深度和准确性。

37、4.提供了系统化的解决方案

38、现有的对比学习方法在知识图谱补全任务中取得了一定成效，但大多数方法只关注某个特定的方面，缺乏一个综合的、闭环的系统解决方案。本发明通过引入语料构建、对比预训练、任务驱动的指令调优以及多层过滤与评价机制，提供了一个系统化的解决方案，确保生成的知识在质量和多样性上的全面提升。

39、5.创新的过滤与评分机制

40、本发明采用基于偏见去除的bert模型进行初步过滤，结合三级评分制度和新颖度计算的评分模型，确保生成知识的准确性和新颖性。三级评分制度通过gpt-3.5和gpt-4的多层评估，结合人工评分，确保评估结果的可靠性。新颖度评分通过基于嵌入模型的余弦相似度计算，克服了字符匹配方法的局限性，确保新生成知识的语义一致性和创新性。

41、6.提高了知识生成的效率和质量

42、通过对比预训练和任务驱动的指令调优，本发明在生成常识知识的效率和质量上取得了显著的提升。采用多样化的束搜索方法和精细化的指令调优，模型能够生成符合要求的高质量知识三元组，并通过多层过滤与评分机制确保其合理性和创新性。