技术新讯 > 计算推算,计数设备的制造及其应用技术 > 数据问答系统及其调用方法与流程  >  正文

数据问答系统及其调用方法与流程

  • 国知局
  • 2024-12-06 12:53:28
  • 5

本申请涉及数据问答,特别是涉及数据问答系统及其调用方法。

背景技术:

1、llm(large language model,大型语言模型)是指那些经过大量文本数据训练的复杂机器学习模型,它们能够理解和生成自然语言。这些模型通常使用深度学习技术,特别是变换器(transformer)架构,来处理语言的复杂性。

2、现有的llm应用绝大多数是围绕指定的llm大模型进行功能设计的应用软件,指定的llm模型可能在某一领域做了增强,同时其它领域的能力就会相对减弱,从而导致当前应用能力受到局限。

3、另一方面,当前llm应用的响应信息只来源于指定的llm大模型所产出的内容,无法实现多个llm大模型的响应信息横向打通,综合不同的llm模型响应信息进行综合整理从而得出最优的响应信息,没有llm模型间横向打通的能力。

技术实现思路

1、本申请提供数据问答系统及其调用方法,能够解决现有的llm模型适用差的问题。

2、本申请第一方面提供了一种数据问答系统的调用方法,该方法包括:

3、获取调用指令,调用指令包括编排结果和编排顺序;

4、基于调用指令的编排结果获取目标插件,其中目标插件包括通过插件市场下载的第一插件,和/或预存于数据库的第二插件,插件市场通过插件接口与数据库实现数据传输;

5、基于调用指令的编排顺序,利用目标插件调用至少一个llm模型。

6、进一步地,基于调用指令的编排结果获取目标插件的步骤,包括:

7、获取调用指令的编排结果,其中编排结果为需要多个llm模型进行编排,或者编排结果为不需要多个llm模型进行编排;

8、响应于编排结果为需要多个llm模型进行编排,获取若干个第一插件,和/或若干个第二插件;

9、响应于编排结果为不需要多个llm模型进行编排,获取与调用指令对应的第二插件。

10、进一步地,基于调用指令的编排顺序,利用目标插件调用对应的llm模型的步骤,包括:

11、获取调用指令的编排顺序,其中编排顺序包括串联调用编排和/或并联调用编排;

12、基于编排顺序,利用第一插件或第二插件调用对应的llm模型进行编排得到llm大模型,以获取llm大模型基于调用指令生成的数据回复信息。

13、进一步地,基于编排顺序,利用第一插件或第二插件调用对应的llm模型进行编排得到llm大模型,以获取llm大模型基于调用指令生成的数据回复信息的步骤,包括:

14、获取位于编排顺序的第一顺位的目标插件,调用与位于编排顺序的第一顺位的目标插件对应的llm模型,以获取llm模型基于调用指令产生的数据信息,数据信息包括提示词和问答结果;

15、按照编排顺序,以数据信息作为数据输入,获取位于编排顺序的最后一顺位的目标插件调用的llm模型所产生的问答结果,问答结果为数据回复信息。

16、进一步地,方法还包括:

17、基于预设配置生成若干个llm模型对应的数据接口,不同llm模型通过数据接口进行数据传递;其中,数据接口包括api接口。

18、进一步地,基于调用指令的编排结果获取目标插件的步骤,包括:

19、基于调用指令获取请求码;

20、利用请求码获取问答参数,问答参数用于表征插件接口类;

21、响应于问答参数满足预设条件,调用与问答参数对应的插件接口类,通过插件接口类下载目标插件。

22、进一步地,基于调用指令的编排顺序,利用目标插件调用至少一个llm模型的步骤,包括:

23、获取目标插件的加载数据包;

24、解压加载数据包以获取配置参数;

25、通过配置参数获取目标路径下的类,以实例化对目标路径下的类。

26、进一步地,该方法包括:

27、基于接口功能定义若干个插件接口类,若干个插件接口类组成插件接口;

28、获取调用指令对应的插件接口类,对插件接口类进行动态加载。

29、进一步地,该方法还包括:

30、自定义设置插件管理参数;

31、响应于基于调用指令的编排结果获取目标插件,利用插件管理参数对目标插件进行管理操作,管理操作包括安装、运行、停止和卸载。

32、本申请第二方面提供了一种数据问答系统,该数据问答系统包括:

33、获取模块,获取模块用于获取调用指令,调用指令包括编排结果和编排顺序;

34、配置模块,配置模块用于基于调用指令的编排结果获取目标插件,其中目标插件包括通过插件市场下载的第一插件,和/或预存于数据库的第二插件;

35、插件接口,插件接口用于实现插件市场与数据库之间的数据传输;

36、配置模块还用于基于调用指令的编排顺序,利用目标插件调用至少一个llm模型。

37、区别于现有技术,本申请通过获取调用指令可得到对应的编排结果和编排顺序,通过编排结果可以确定是否需要多个llm模型进行编排,并且通过编排顺序可确定多个llm模型的编排顺序;并且,本申请基于调用指令选择已经缓存的第二插件实现对llm模型的调用,或者选择通过插件接口从插件市场下载的第一插件实现对llm模型的调用,能够实现单个llm模型或多个llm模型的调用,进而实现对不同llm模型的适配调用。同时,本申请通过设置插件接口下载第一插件,利用第一插件调用llm模型的方式,能够节省模型升级的投入成本。

38、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。

技术特征:

1.一种数据问答系统的调用方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排结果获取目标插件的步骤,包括:

3.根据权利要求2所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排顺序,利用目标插件调用对应的llm模型的步骤,包括:

4.根据权利要求3所述的数据问答系统的调用方法,其特征在于,所述基于所述编排顺序,利用所述第一插件或所述第二插件调用对应的llm模型进行编排得到llm大模型,以获取所述llm大模型基于所述调用指令生成的数据回复信息的步骤,包括:

5.根据权利要求4所述的数据问答系统的调用方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排结果获取目标插件的步骤,包括:

7.根据权利要求6所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排顺序,利用目标插件调用至少一个llm模型的步骤,包括:

8.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述方法还包括:

9.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述方法还包括:

10.一种数据问答系统,其特征在于,所述数据问答系统包括:

技术总结本申请公开了数据问答系统及其调用方法,该数据问答系统的调用方法包括:获取调用指令,调用指令包括编排结果和编排顺序;基于调用指令的编排结果获取目标插件,其中目标插件包括通过插件市场下载的第一插件,和/或预存于数据库的第二插件,插件市场通过插件接口与数据库实现数据传输;基于调用指令的编排顺序,利用目标插件调用至少一个LLM模型。本申请获取的调用指令可选择已经缓存的第二插件实现对LLM模型的调用,或者选择通过插件接口从插件市场下载的第一插件实现对LLM模型的调用,能够实现单个LLM模型或多个LLM模型的调用,进而实现对不同LLM模型的适配调用。技术研发人员:刘云峰,王尧,李雨洋,饶建波受保护的技术使用者:中科先进(深圳)集成技术有限公司技术研发日:技术公布日:2024/12/2

本文地址:https://www.jishuxx.com/zhuanli/20241204/342949.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。