一种基于迭代评价算法的大模型幻觉修正方法和装置与流程

本发明涉及ai大语言模型领域，更具体地说，它涉及一种基于迭代评价算法的大模型幻觉修正方法和装置。

背景技术：

1、目前大型语言模型在生成流畅、连贯和信息丰富的自然语言文本方面，表现出了出色的能力，但是开放互联网中的有偏见、错误的信息泛滥，可能导致训练数据有偏见、不完整或不足，大模型可能会基于其对所访问数据的有限理解而产生幻觉。由于复杂性增加，具有更多分层或更多参数的模型可能更容易产生幻觉。

2、大语言模型的幻觉产生的主要因素来自数据的质量不够好，在训练数据收集过程中，众包/爬虫检索的数据可能包含虚假信息，从而让模型记忆了错误的知识，过多的重复信息也可能导致模型的知识记忆出现偏差，从而导致幻觉的产生。

3、根据研究，即使是可以做到高水平的语料库，仍然可能由于模型的训练和推理的原因产生幻觉，在模型层面例如使用不确定性较高的采样算法会诱导大语言模型出现更严重的幻觉问题，甚至可以故意在解码算法中加入一些随机性，进一步让llm胡编乱造。

4、幻觉修正技术是提升大语言模型事实正确性的支撑技术之一，可以帮助大模型减少胡言乱语的现象，提升回答的事实性。

5、幻觉的修正首先需要构建高质量数据集，然后在模型层面进行解码时减少模型的生成随机性、检索增强、强化学习等方法缓解幻觉。但是目前来说，幻觉修正方法的研究还有很大的发展空间，很多研究人员希望找到一种适用性广、复杂程度低以及精度理想的大语言模型幻觉修正方法。

技术实现思路

1、本发明的目的是提供一种基于迭代评价算法的大模型幻觉修正方法和装置，能够减少大语言模型幻觉现象，有效提高llm的精度。

2、本发明的上述技术目的是通过以下技术方案得以实现的：一种基于迭代评价算法的大模型幻觉修正方法，包括如下步骤：

3、s1、响应于用户问题，获取用户问题和与用户问题对应的上下文信息，并检索相关的外部知识；

4、s2、对相关的外部知识进行融合，根据融合后的外部知识构造查询llm的提示，并由llm生成基于外部知识的候选答案；

5、s3、通过迭代评价算法，对候选答案进行评估，根据预设幻觉评判规则检验候选答案是否产生幻觉；若没有产生幻觉，则将候选答案输出；若产生幻觉，则执行s4；

6、s4、从候选答案的语句中拆解出存在幻觉的语句，提示llm从存在幻觉的语句中进行事实概念抽取，并构造事实-知识图谱；

7、s5、提示llm根据所述事实-知识图谱生成问题，并检索生成证据；

8、s6、通过llm根据证据对候选答案进行幻觉修正，对修正后的候选答案执行s3。

9、作为本发明的一种优选技术方案，s1中，通过调用检索模型或工具api来检索外部知识，构造查询llm的提示。

10、作为本发明的一种优选技术方案，s3中，迭代评价算法包括：

11、通过预设幻觉评判规则对候选答案进行幻觉判断，预设幻觉评判规则为：设定相似度阈值，若候选答案的相似度值低于相似度阈值，则判定候选答案存在幻觉。

12、作为本发明的一种优选技术方案，候选答案的相似度值为候选答案和标准答案之间的相似度f，相似度f的表达式为：

13、其中，α为默认参数，由当前nlp任务确定，r是召回率，p是准确率；

14、所述召回率r的表达式为：tp表示候选答案中能够被匹配的一元组的数量，fn表示标准答案样本个数，r的取值范围为(0,1)；

15、所述准确率p的表达式为：tp表示候选答案中能够被匹配的一元组的数量，fp表示候选答案样本个数，p的取值范围为(0,1)。

16、作为本发明的一种优选技术方案，s4还包括如下子步骤：

17、s41、将候选答案以句子为单位进行拆解；

18、s42、通过迭代评价算法定位存在幻觉的语句单元；

19、s43、构造提示，使得llm从语句单元中抽取事实概念，包括实体、实体之间的关系、实体的属性；

20、s44、根据事实概念构造事实-知识图谱。

21、作为本发明的一种优选技术方案，所述s44包括：将抽取的每个实体作为一个节点添加到知识图谱中，将实体之间的关系作为边添加到知识图谱中，链接相应的节点，边的方向表示关系的方向，并将实体的属性集合加入数据库中，构造的事实-知识图谱。

22、作为本发明的一种优选技术方案，s5中，事实-知识图谱用三元组的形式表达，通过训练提示模板，构造提示，使得llm基于知识图谱三元组制定问题列表，并检索相关知识生成证据列表；

23、作为本发明的一种优选技术方案，s6、通过llm根据问题列表和证据列表对幻觉语句单元中的事实性错误进行修正。

24、一种基于迭代评价算法的大模型幻觉修正装置，包括：知识检索模块、答案生成模块、迭代评价模块、幻觉修正模块；

25、所述知识检索模块，用于响应于用户问题，获取用户问题和与用户问题对应的上下文信息，并检索相关的外部知识；

26、所述答案生成模块，用于对相关的外部知识进行融合，根据融合后的外部知识构造查询llm的提示，并由llm生成基于外部知识的候选答案；

27、所述迭代评价模块，用于通过迭代评价算法，对候选答案进行评估，根据预设幻觉评判规则检验候选答案是否产生幻觉；若没有产生幻觉，则将候选答案输出；若产生幻觉，则调用幻觉修正模块；

28、所述幻觉修正模块，用于从候选答案的语句中拆解出存在幻觉的语句，提示llm从存在幻觉的语句中进行事实概念抽取，并构造事实-知识图谱；提示llm根据所述事实-知识图谱生成问题，并检索生成证据；通过llm根据证据对候选答案进行幻觉修正。

29、综上所述，本发明具有以下有益效果：本发明提出的幻觉修正方法是一个检索知识->生成回复->评估->幻觉修正的反复迭代/决策的过程，综合考虑生成相关输出所需的知识或背景，通过调用外部工具api从知识库、搜索引擎、维基百科等中检索知识，建立迭代评价机制，创新性地评价基于外部知识生成的回复，通过打分判定是否产生幻觉，并提示可指导的知识增强型llm拆解幻觉语句单元、不断迭代修正事实性错误，减少大语言模型幻觉现象，有效提高llm的精度。

技术特征：

1.一种基于迭代评价算法的大模型幻觉修正方法，其特征是：包括如下步骤：

2.根据权利要求1所述的一种基于迭代评价算法的大模型幻觉修正方法，其特征是：s1中，通过调用检索模型或工具api来检索外部知识，构造查询llm的提示。

3.根据权利要求2所述的一种基于迭代评价算法的大模型幻觉修正方法，其特征是：s3中，迭代评价算法包括：

4.根据权利要求3所述的一种基于迭代评价算法的大模型幻觉修正方法，其特征是：候选答案的相似度值为候选答案和标准答案之间的相似度f，相似度f的表达式为：

5.根据权利要求1所述的一种基于迭代评价算法的大模型幻觉修正方法，其特征是：s4还包括如下子步骤：

6.根据权利要求5所述的一种基于迭代评价算法的大模型幻觉修正方法，其特征是：所述s44包括：将抽取的每个实体作为一个节点添加到知识图谱中，将实体之间的关系作为边添加到知识图谱中，链接相应的节点，边的方向表示关系的方向，并将实体的属性集合加入数据库中，构造的事实-知识图谱。

7.根据权利要求6所述的一种基于迭代评价算法的大模型幻觉修正方法，其特征是：s5中，事实-知识图谱用三元组的形式表达，通过训练提示模板，构造提示，使得llm基于知识图谱三元组制定问题列表，并检索相关知识生成证据列表。

8.根据权利要求7所述的一种基于迭代评价算法的大模型幻觉修正方法，其特征是：s6、通过llm根据问题列表和证据列表对幻觉语句单元中的事实性错误进行修正。

9.一种基于迭代评价算法的大模型幻觉修正装置，其特征是：包括：知识检索模块、答案生成模块、迭代评价模块、幻觉修正模块；

技术总结本发明涉及AI大语言模型领域，公开了一种基于迭代评价算法的大模型幻觉修正方法和装置，其技术方案要点是包括如下步骤：S1、响应用户问题，获取用户问题和上下文信息，并检索相关的外部知识；S2、对外部知识进行融合，构造查询LLM的提示，并由LLM生成候选答案；S3、通过迭代评价算法，对候选答案进行评估，根据预设幻觉评判规则检验候选答案是否产生幻觉；若没有产生幻觉，则将候选答案输出；若产生幻觉，则执行S4；S4、从候选答案的语句中拆解出存在幻觉的语句，提示LLM进行事实概念抽取，并构造事实‑知识图谱；S5、提示LLM生成问题，并检索生成证据；S6、通过LLM根据证据对候选答案进行幻觉修正，对修正后的候选答案执行S3。技术研发人员：王清琛受保护的技术使用者：南京云问网络技术有限公司技术研发日：技术公布日：2024/9/29