数据问答系统及其调用方法与流程
- 国知局
- 2024-12-06 12:53:28
- 5
本申请涉及数据问答,特别是涉及数据问答系统及其调用方法。
背景技术:
1、llm(large language model,大型语言模型)是指那些经过大量文本数据训练的复杂机器学习模型,它们能够理解和生成自然语言。这些模型通常使用深度学习技术,特别是变换器(transformer)架构,来处理语言的复杂性。
2、现有的llm应用绝大多数是围绕指定的llm大模型进行功能设计的应用软件,指定的llm模型可能在某一领域做了增强,同时其它领域的能力就会相对减弱,从而导致当前应用能力受到局限。
3、另一方面,当前llm应用的响应信息只来源于指定的llm大模型所产出的内容,无法实现多个llm大模型的响应信息横向打通,综合不同的llm模型响应信息进行综合整理从而得出最优的响应信息,没有llm模型间横向打通的能力。
技术实现思路
1、本申请提供数据问答系统及其调用方法,能够解决现有的llm模型适用差的问题。
2、本申请第一方面提供了一种数据问答系统的调用方法,该方法包括:
3、获取调用指令,调用指令包括编排结果和编排顺序;
4、基于调用指令的编排结果获取目标插件,其中目标插件包括通过插件市场下载的第一插件,和/或预存于数据库的第二插件,插件市场通过插件接口与数据库实现数据传输;
5、基于调用指令的编排顺序,利用目标插件调用至少一个llm模型。
6、进一步地,基于调用指令的编排结果获取目标插件的步骤,包括:
7、获取调用指令的编排结果,其中编排结果为需要多个llm模型进行编排,或者编排结果为不需要多个llm模型进行编排;
8、响应于编排结果为需要多个llm模型进行编排,获取若干个第一插件,和/或若干个第二插件;
9、响应于编排结果为不需要多个llm模型进行编排,获取与调用指令对应的第二插件。
10、进一步地,基于调用指令的编排顺序,利用目标插件调用对应的llm模型的步骤,包括:
11、获取调用指令的编排顺序,其中编排顺序包括串联调用编排和/或并联调用编排;
12、基于编排顺序,利用第一插件或第二插件调用对应的llm模型进行编排得到llm大模型,以获取llm大模型基于调用指令生成的数据回复信息。
13、进一步地,基于编排顺序,利用第一插件或第二插件调用对应的llm模型进行编排得到llm大模型,以获取llm大模型基于调用指令生成的数据回复信息的步骤,包括:
14、获取位于编排顺序的第一顺位的目标插件,调用与位于编排顺序的第一顺位的目标插件对应的llm模型,以获取llm模型基于调用指令产生的数据信息,数据信息包括提示词和问答结果;
15、按照编排顺序,以数据信息作为数据输入,获取位于编排顺序的最后一顺位的目标插件调用的llm模型所产生的问答结果,问答结果为数据回复信息。
16、进一步地,方法还包括:
17、基于预设配置生成若干个llm模型对应的数据接口,不同llm模型通过数据接口进行数据传递;其中,数据接口包括api接口。
18、进一步地,基于调用指令的编排结果获取目标插件的步骤,包括:
19、基于调用指令获取请求码;
20、利用请求码获取问答参数,问答参数用于表征插件接口类;
21、响应于问答参数满足预设条件,调用与问答参数对应的插件接口类,通过插件接口类下载目标插件。
22、进一步地,基于调用指令的编排顺序,利用目标插件调用至少一个llm模型的步骤,包括:
23、获取目标插件的加载数据包;
24、解压加载数据包以获取配置参数;
25、通过配置参数获取目标路径下的类,以实例化对目标路径下的类。
26、进一步地,该方法包括:
27、基于接口功能定义若干个插件接口类,若干个插件接口类组成插件接口;
28、获取调用指令对应的插件接口类,对插件接口类进行动态加载。
29、进一步地,该方法还包括:
30、自定义设置插件管理参数;
31、响应于基于调用指令的编排结果获取目标插件,利用插件管理参数对目标插件进行管理操作,管理操作包括安装、运行、停止和卸载。
32、本申请第二方面提供了一种数据问答系统,该数据问答系统包括:
33、获取模块,获取模块用于获取调用指令,调用指令包括编排结果和编排顺序;
34、配置模块,配置模块用于基于调用指令的编排结果获取目标插件,其中目标插件包括通过插件市场下载的第一插件,和/或预存于数据库的第二插件;
35、插件接口,插件接口用于实现插件市场与数据库之间的数据传输;
36、配置模块还用于基于调用指令的编排顺序,利用目标插件调用至少一个llm模型。
37、区别于现有技术,本申请通过获取调用指令可得到对应的编排结果和编排顺序,通过编排结果可以确定是否需要多个llm模型进行编排,并且通过编排顺序可确定多个llm模型的编排顺序;并且,本申请基于调用指令选择已经缓存的第二插件实现对llm模型的调用,或者选择通过插件接口从插件市场下载的第一插件实现对llm模型的调用,能够实现单个llm模型或多个llm模型的调用,进而实现对不同llm模型的适配调用。同时,本申请通过设置插件接口下载第一插件,利用第一插件调用llm模型的方式,能够节省模型升级的投入成本。
38、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
技术特征:1.一种数据问答系统的调用方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排结果获取目标插件的步骤,包括:
3.根据权利要求2所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排顺序,利用目标插件调用对应的llm模型的步骤,包括:
4.根据权利要求3所述的数据问答系统的调用方法,其特征在于,所述基于所述编排顺序,利用所述第一插件或所述第二插件调用对应的llm模型进行编排得到llm大模型,以获取所述llm大模型基于所述调用指令生成的数据回复信息的步骤,包括:
5.根据权利要求4所述的数据问答系统的调用方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排结果获取目标插件的步骤,包括:
7.根据权利要求6所述的数据问答系统的调用方法,其特征在于,所述基于所述调用指令的编排顺序,利用目标插件调用至少一个llm模型的步骤,包括:
8.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述方法还包括:
9.根据权利要求1所述的数据问答系统的调用方法,其特征在于,所述方法还包括:
10.一种数据问答系统,其特征在于,所述数据问答系统包括:
技术总结本申请公开了数据问答系统及其调用方法,该数据问答系统的调用方法包括:获取调用指令,调用指令包括编排结果和编排顺序;基于调用指令的编排结果获取目标插件,其中目标插件包括通过插件市场下载的第一插件,和/或预存于数据库的第二插件,插件市场通过插件接口与数据库实现数据传输;基于调用指令的编排顺序,利用目标插件调用至少一个LLM模型。本申请获取的调用指令可选择已经缓存的第二插件实现对LLM模型的调用,或者选择通过插件接口从插件市场下载的第一插件实现对LLM模型的调用,能够实现单个LLM模型或多个LLM模型的调用,进而实现对不同LLM模型的适配调用。技术研发人员:刘云峰,王尧,李雨洋,饶建波受保护的技术使用者:中科先进(深圳)集成技术有限公司技术研发日:技术公布日:2024/12/2本文地址:https://www.jishuxx.com/zhuanli/20241204/342949.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。