一种基于LLM的医疗知识回答方法、装置、设备及介质与流程
- 国知局
- 2024-11-06 14:41:57
本发明涉及llm模型医疗知识回答,具体涉及一种基于llm的医疗知识回答方法、装置、设备及介质。
背景技术:
1、大型语言模型(简称:llm,英文:large language model)是指在大量数据上训练的高级人工智能算法。通常具有超过1000亿个参数的自然语言处理系统,可运用于内容生成、文字摘要、聊天机器人、编写程式码,以及预测蛋白质结构和生物分子属性等客制化的ai应用程式。目前热度较高。通用llm训练和部署需要大量数据和算力,但是,个人或普通机构几乎不能承担巨大的投入。并且当前市面上llm被诟病的一个问题是在文本生成中不时会出现“幻觉”和对事实的错误描述。在医疗应用中,违背事实的文本生成会导致潜在的风险和错误。
2、有鉴于此,提出本申请。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于llm的医疗知识回答方法、装置、设备及介质,能够有效降低llm模型在微调训练和部署时的算力需求,能够有效避免llm模型在文本生成中不时会出现“幻觉”和对事实的错误描述对医疗应用的影响,降低潜在的风险和错误。
2、本发明公开了一种基于llm的医疗知识回答方法,包括:
3、获取用户输入的问题文本,并调用训练好的微调llm模型对所述问题文本进行分析处理,生成实体-关系数据,其中,所述实体-关系数据包括实体名称和与所述实体名称相对应的实体关系类型;
4、根据所述实体-关系数据在预设的知识图谱知识库进行检索处理,生成与所述实体-关系数据相对应的知识内容;
5、根据所述知识内容,生成问题答案。
6、优选地,所述实体名称为疾病名称,所述实体关系类型为与所述疾病名称相对应的疾病相关知识类型。
7、优选地,在调用训练好的微调llm模型对所述问题文本进行分析处理之前,还包括:
8、根据预设的知识图谱知识库进行自动构建处理,针对所述疾病名称的每一个关系类型预设多个不同的提问,生成指令训练数据集;
9、构建一个基础llm模型,并使用qlora方法在预设算力下对所述基础llm模型进行微调处理,其中,所述基础llm模型的模型参数量小于10b;
10、根据所述指令训练数据集对所述基础llm模型进行微调训练,生成微调llm模型。
11、优选地,在根据所述实体-关系数据在预设的知识图谱知识库进行检索处理之前,还包括:
12、获取多组历史疾病数据,生成知识库,并在图数据库上部署所述知识库;
13、使用“键-值”的数据格式存储所述知识库中的数据,生成知识图谱知识库,其中,知识库中的每条数据都以所述疾病名称为主键,包含多个关系类型和对应知识内容;
14、生成所述知识图谱知识库中所有疾病名称和关系类型名称的相关性度量。
15、优选地,根据所述实体-关系数据在预设的知识图谱知识库进行检索处理,生成与所述实体-关系数据相对应的知识内容,具体为:
16、根据所述实体名称在所述知识图谱知识库中进行模糊检索,计算所述实体名称的相关性度量,并分别与所述知识图谱知识库中的疾病名称和关系类型名称的相关性度量进行比较打分处理,确定与所述实体名称相对应的疾病,其中,打分值最高的项目为与所述实体名称相对应的疾病;
17、根据所述实体关系类型和确定的疾病进行检索处理,生成与所述实体-关系数据相对应的知识内容。
18、本发明还公开了一种基于llm的医疗知识回答装置,包括:
19、实体-关系识别单元,用于获取用户输入的问题文本,并调用训练好的微调llm模型对所述问题文本进行分析处理,生成实体-关系数据,其中,所述实体-关系数据包括实体名称和与所述实体名称相对应的实体关系类型;
20、知识库模糊检索单元,用于根据所述实体-关系数据在预设的知识图谱知识库进行检索处理,生成与所述实体-关系数据相对应的知识内容;
21、答案生成单元,用于根据所述知识内容,生成问题答案。
22、优选地,所述知识库模糊检索单元具体用于:
23、根据所述实体名称在所述知识图谱知识库中进行模糊检索,计算所述实体名称的相关性度量,并分别与所述知识图谱知识库中的疾病名称和关系类型名称的相关性度量进行比较打分处理,确定与所述实体名称相对应的疾病,其中,打分值最高的项目为与所述实体名称相对应的疾病;
24、根据所述实体关系类型和确定的疾病进行检索处理,生成与所述实体-关系数据相对应的知识内容。
25、本发明还公开了一种基于llm的医疗知识回答设备,包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上任意一项所述的一种基于llm的医疗知识回答方法。
26、本发明还公开了一种可读存储介质,存储有计算机程序,所述计算机程序能够被该存储介质所在设备的处理器执行,以实现如上任意一项所述的一种基于llm的医疗知识回答方法。
27、综上所述,本实施例提供的一种基于llm的医疗知识回答方法、装置、设备及介质,使用llm对问题文本进行理解和分析,分析出问题的主体(实体)和诉求(实体属性或关系)后,在基于知识图谱的知识库中进行模糊搜索,找到问题答案并回答;因此最终的问题答案来自知识库内容,不会出现llm的“幻觉”和失实内容;问题分析准确率依据llm对问题文本的理解能力,答案质量依据知识库的内容质量。当前市面上llm被诟病的一个问题是在文本生成中不时会出现“幻觉”和对事实的错误描述。在医疗应用中,违背事实的文本生成会导致潜在的风险和错误的问题。本实施例在构建微调llm模型时,使用qlora方法在预设算力下对所述基础llm模型进行微调处理,其中,所述基础llm模型的模型参数量小于10b(100亿)。从而解决现有技术中的llm模型存在训练和部署需要大量数据和算力,个人或普通机构几乎不能承担巨大的投入的问题。
技术特征:1.一种基于llm的医疗知识回答方法,其特征在于,包括:
2.根据权利要求1所述的一种基于llm的医疗知识回答方法,其特征在于,所述实体名称为疾病名称,所述实体关系类型为与所述疾病名称相对应的疾病相关知识类型。
3.根据权利要求2所述的一种基于llm的医疗知识回答方法,其特征在于,在调用训练好的微调llm模型对所述问题文本进行分析处理之前,还包括:
4.根据权利要求2所述的一种基于llm的医疗知识回答方法,其特征在于,在根据所述实体-关系数据在预设的知识图谱知识库进行检索处理之前,还包括:
5.根据权利要求4所述的一种基于llm的医疗知识回答方法,其特征在于,根据所述实体-关系数据在预设的知识图谱知识库进行检索处理,生成与所述实体-关系数据相对应的知识内容,具体为:
6.一种基于llm的医疗知识回答装置,其特征在于,包括:
7.根据权利要求5所述的一种基于llm的医疗知识回答装置,其特征在于,所述知识库模糊检索单元具体用于:
8.一种基于llm的医疗知识回答设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述的一种基于llm的医疗知识回答方法。
9.一种可读存储介质,其特征在于,存储有计算机程序,所述计算机程序能够被该存储介质所在设备的处理器执行,以实现如权利要求1至5任意一项所述的一种基于llm的医疗知识回答方法。
技术总结本发明提供了一种基于LLM的医疗知识回答方法、装置、设备及介质,包括:获取用户输入的问题文本,并调用训练好的微调LLM模型对所述问题文本进行分析处理,生成实体‑关系数据,其中,所述实体‑关系数据包括实体名称和与所述实体名称相对应的实体关系类型;根据所述实体‑关系数据在预设的知识图谱知识库进行检索处理,生成与所述实体‑关系数据相对应的知识内容;根据所述知识内容,生成问题答案。此外,现有LLM存在投入巨大、不时会出现“幻觉”和对事实的错误描述,导致潜在的风险和错误的问题。技术研发人员:施建安,关涛,赵友平,孙志伟受保护的技术使用者:厦门市易联众易惠科技有限公司技术研发日:技术公布日:2024/11/4本文地址:https://www.jishuxx.com/zhuanli/20241106/323616.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。