技术新讯 > 计算推算,计数设备的制造及其应用技术 > 一种应答数据推理方法、装置、电子设备及存储介质与流程  >  正文

一种应答数据推理方法、装置、电子设备及存储介质与流程

  • 国知局
  • 2024-08-05 11:56:11

本发明涉及人工智能,特别涉及一种应答数据推理方法、装置、电子设备及存储介质。

背景技术:

1、随着深度学习技术的不断发展,用于处理自然语言的大语言模型(l ar g elanguage model,llm)得到了越来越广泛的应用,现代大语言模型主要依赖于生成式的训练方式,通过建模语料数据库的分布来进行知识的学习和逻辑的建立。在进行问答推理时,大语言模型通过在输出空间采样生成回复。然而,这种数据分布的建模难以衡量模型对既定知识的确定性,也不能泛化到时事等全新的话题领域。这导致语言模型的输出可能存在大量幻觉,即,输出内容违背事实或存在捏造、虚构的成分,极大地阻碍了问答大语言模型的实际使用。因此,如何有效抑制大语言模型的幻觉问题是现有技术体系下的一个核心问题。

2、目前解决模型幻觉问题的方法主要有以下几类:1)数据方法,通过构建大量知识性数据集和不断增加时事性数据,持续增强模型的通用知识;2)输出后处理方法,通过对模型的输出结果进行自检验或外部工具检验,判断是否输出存在幻觉;3)在问题解析之后,输出答复前,借助外部数据库或工具,进行一次或多次的数据库查询,作为额外的补充知识防止模型出现幻觉。

3、幻觉抑制问题作为一项大模型基础能力,通过数据方式弥补难以解决本质问题,无法涵盖自然界中各种广泛分布的场景。而依赖于后处理和前处理的方式在面临复杂问题时容易以偏概全,生成错误的问答结果。

技术实现思路

1、为此,本发明提供了一种应答数据推理方法、装置、电子设备及存储介质,以力图解决或者至少缓解上面存在的至少一个问题。

2、根据本发明的一个方面,提供一种应答数据推理方法,包括:

3、获取待处理问题;

4、利用大语言模型根据链式思维推理策略对待处理问题进行拆解,获得至少两个推理任务,以及每个推理任务对应的第一关联知识;

5、利用大语言模型对每个推理任务所对应的第一关联知识的置信度进行判断,根据相应的置信度判断结果确定对相应的推理任务的处理是否需要调用辅助任务处理接口,如否,基于大语言模型进行推理以获取相应的推理任务的推理结果,如是,调用辅助任务处理接口辅助大语言模型进行推理以获取相应的推理任务的推理结果;

6、利用大语言模型对全部推理任务以及相对应的推理结果进行综合处理,以得到对待处理问题的答复内容。

7、可选的,在根据本发明的应答数据推理方法中,利用大语言模型根据链式思维推理策略对待处理问题进行拆解,获得至少两个推理任务,以及每个推理任务对应的第一关联知识,包括:

8、获取大语言模型中预设的思维链拆解提示词,思维链拆解提示词用于提示大语言模型对待处理问题进行拆解;

9、将思维链拆解提示词和待处理问题输入大语言模型的链式思维推理接口,由大语言模型对待处理问题进行拆解处理,得到待处理问题拆解后的至少两个推理任务,以及每个推理任务对应的第一关联知识。

10、可选的,在根据本发明的应答数据推理方法中,利用大语言模型对每个推理任务所对应的第一关联知识的置信度进行判断,根据相应的置信度判断结果确定对相应的推理任务的处理是否需要调用辅助任务处理接口,如否,基于大语言模型进行推理以获取相应的推理任务的推理结果,如是,调用辅助任务处理接口辅助大语言模型进行推理以获取相应的推理任务的推理结果,包括:

11、选定当前处理的推理任务;

12、获取大语言模型中预设的关联知识置信度提示词;

13、将关联知识置信度提示词、当前处理的推理任务和与当前处理的推理任务对应的关联知识输入大语言模型的置信度判断接口,以获得大语言模型对当前处理的推理任务所对应的第一关联知识的置信度判断结果;

14、若当前处理的推理任务所对应的第一关联知识的置信度判断结果表示不需要调用辅助任务处理接口,则基于大语言模型,根据当前处理的推理任务对应的第一关联知识进行局部推理,获取与当前处理的推理任务对应的推理结果;

15、若当前处理的推理任务所对应的第一关联知识的置信度判断结果表示需要调用辅助任务处理接口,则调用辅助任务处理接口,通过辅助任务处理接口获取与当前处理的推理任务对应的第二关联知识,基于大语言模型根据第二关联知识进行局部推理,获取与当前处理的推理任务对应的推理结果;

16、重复上述步骤,直至获得每个推理任务所对应的推理结果。

17、可选的,在根据本发明的应答数据推理方法中,关联知识置信度提示词包括:判断要求、判断规则和输出规范,其中,判断要求用于让大语言模型进行置信度判断,判断规则是大语言模型进行置信度判断时所遵循的规则,输出规范用于提示大语言模型输出置信度判断结果时遵循的规范。

18、可选的,在根据本发明的应答数据推理方法中,调用辅助任务处理接口,通过辅助任务处理接口获取与当前处理的推理任务对应的第二关联知识,包括:

19、调用辅助任务处理接口,并将当前处理的推理任务输入辅助任务处理接口;

20、利用辅助任务处理接口根据当前处理的推理任务生成搜索关键词;

21、通过执行搜索操作,根据搜索关键词获取当前处理的推理任务对应的第二关联知识。

22、可选的,在根据本发明的应答数据推理方法中,通过执行搜索操作,根据搜索关键词获取当期处理的推理任务对应的第二关联知识,包括:

23、根据搜索关键词通过执行搜索操作获取关键词关联网页列表,关键词关联网页列表是由搜索操作通过搜索关键词检索到的与搜索关键词相关联的网页链接组成的列表;

24、遍历关键词关联网页列表中的前预定数量个网页链接,获取前预定数量个网页链接中每个网页链接中与搜索关键词对应的高关联数据信息;

25、将前预定数量个网页链接中与搜索关键词对应的高关联数据信息作为第二关联知识返回大语言模型。

26、可选的,在根据本发明的应答数据推理方法中,获取前预定数量个网页链接中每个网页链接中与搜索关键词对应的高关联数据信息,包括:

27、获取前预定数量个网页链接中每个网页链接的网页内容数据;

28、通过向量化模型将搜索关键词和前预定数量个网页链接的网页内容数据分别向量化,获得搜索关键词向量和网页内容数据向量;

29、根据向量相似度算法从前预定数量个网页链接的网页内容数据中获取与搜索关键词对应的高关联数据信息。

30、根据本发明的又一个方面,提供一种应答数据推理装置,包括:

31、用户问题获取模块,用于获取待处理问题;

32、问题拆解模块,用于根据链式思维推理策略对待处理问题进行拆解,获得至少两个推理任务,以及每个推理任务对应的第一关联知识;

33、问题推理模块,用于对每个推理任务所对应的第一关联知识的置信度进行判断,根据相应的置信度判断结果确定对相应的推理任务的处理是否需要调用辅助任务处理接口,如否,基于问题推理模块进行推理以获取相应的推理任务的推理结果,如是,调用辅助任务处理接口辅助问题推理模块进行推理以获取相应的推理任务的推理结果;

34、全局综合模块,用于将全部推理任务以及相对应的推理结果进行综合处理,以得到对待处理问题的答复内容。

35、根据本发明的又一个方面,提供一种电子设备,包括:至少一个处理器;以及存储器,存储器存储有程序指令,当程序指令被至少一个处理器执行时实现如上任一项的应答数据推理方法。

36、根据本发明的又一方面,提供一种存储有程序指令的可读存储介质,当程序指令被处理器读取并执行时,执行如上的任一项应答数据推理方法。

37、根据本发明的应答数据推理方法,基于链式思维推理策略将用户问题拆分成至少两个推理任务(即,子任务),同时获得各个推理任务对应的第一关联知识,在对各个推理任务进行推理时增加了大语言模型对第一关联知识的置信度的判断,根据置信度判断结果确定是否仅通过大语言模型返回的第一关联知识对相应的推理任务进行推理,当大语言模型对大语言模型返回的关联知识不确信时,大语言模型可以通过调用辅助任务处理接口,借助其他机制辅助获取相应的推理任务的推理结果,链式思维拆分和其他机制的结合形成了新的思维工具链,从而有效避免了大语言模型在复杂场景下的以偏概全的问题,缓解了问答场景中对复杂问题的输出出现幻觉、不精准的问题,使得大语言模型更加可靠。

本文地址:https://www.jishuxx.com/zhuanli/20240802/260153.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。