基于大语言模型和知识图谱智能制造能力诊断方法及装置与流程

本技术涉及一种基于大语言模型和知识图谱智能制造能力诊断方法及装置，属于智能问答。

背景技术：

1、近年来，大语言模型(large language models，llm)在自然语言处理领域取得了显著成果，并在多种任务中表现出强大的能力，这些模型(如：openai的gpt系列、谷歌的bert、智谱的chatglm系列、百度的文心一言、阿里的通义千问等)能够理解和生成复杂的自然语言文本，为语言任务的自动化处理提供了新的可能性。然而，大语言模型在专业领域的应用仍面临一些挑战。

2、首先，对于特定领域的专业知识，大语言模型没有足够的理解和准确性。大语言模型通常基于大规模的通用语料库进行训练，而这些语料库可能无法涵盖特定领域的所有细节和复杂性。

3、其次，大语言模型在处理复杂和开放式问题时可能会遇到困难。大语言模型通常在大量文本数据上进行训练，以识别和生成通用的语言模式。在专业领域中，问题通常更加具体和复杂，需要深入的专业知识和分析能力，大语言模型却无法提供准确和可靠的答案。

4、此外，大语言模型还存在一些固有的问题，如对输入的语境和背景知识的理解有限、容易产生语义歧义等。这些问题可能导致大语言模型在处理专业领域的问题时产生误解或误导。

5、最后，大语言模型的训练和推理需要大量的计算资源和存储空间，限制了其在某些环境下的应用。

技术实现思路

1、为了解决上述问题，本技术提供一种基于大语言模型和知识图谱智能制造能力诊断方法及装置。

2、为了实现上述目的，本技术提供如下技术方案：

3、第一方面，本技术实施例提供一种基于大语言模型和知识图谱智能制造能力诊断方法，其应用于基于大语言模型和知识图谱的智能制造能力诊断平台，所述方法包括：

4、获取用户输入的问题，并利用预先训练的信息过滤模型对所述问题进行过滤处理；其中，所述过滤处理用于滤除不属于智能制造领域的问题；

5、基于过滤处理后的问题在预先构建的智能制造领域的知识库中进行专业知识检索，并基于检索结果构建第一提示词；

6、将所述第一提示词输入预先构建的专业问答模块，得到答案文本；所述专业问答模块基于大语言模型构建得到；

7、利用预先训练的信息抽取模型对所述答案文本进行信息抽取，得到三元组信息；

8、将所述三元组信息与预先构建的知识图谱进行匹配，得到候选节点数据；

9、根据用户的选择操作从所述候选节点数据中确定目标节点数据，并基于所述目标节点数据构建第二提示词；

10、将所述第二提示词输入所述专业问答模块，得到知识图谱增强的答案文本。

11、基于以上的方法，可选地，构建所述基于大语言模型和知识图谱的智能制造能力诊断平台时，使用的基础数据包括我司已有的制造企业诊断数据(近13万份)、智能制造领域的权威数据和智能制造领域的已有数据集。

12、基于以上的方法，可选地，所述信息过滤模型通过bert文本过滤器的方式对输入的问题进行过滤；所述信息过滤模型的训练过程包括：

13、获取训练数据集；所述训练数据集包括智能制造能力诊断问题数据集和基于大语言模型生成的问题数据集，所述智能制造能力诊断问题数据集用于训练模型回答专业性程度的问题，所述基于大语言模型生成的问题数据集用于训练模型回答常见的问题；

14、基于所述训练数据集对预先构建的待训练模型进行训练，得到信息过滤模型；其中，预先构建的待训练模型包括bert文本过滤器和全连接层，所述bert文本过滤器用于对输入的训练数据进行特征提取，得到特征向量，所述全连接层用于对所述特征向量进行处理，得到分类结果。

15、基于以上的方法，可选地，所述知识库的构建过程包括：

16、获取智能制造领域的专业数据；

17、对所述专业数据进行文本分割，得到大量文本片段；

18、基于embedding模型对各所述文本片段进行向量化；

19、构建各个向量化的文本片段的索引，并保存到数据库。

20、基于以上的方法，可选地，所述信息抽取模型利用p-tuning v2方法对大语言模型进行微调得到；

21、微调过程包括：基于注意力机制，在模型的每一层上将1个可训练的注意力键和值嵌入连接到前缀上；其中，给定原始的键向量k∈ri×d和值向量v∈ri×d，可训练的向量pk、pv将分别与k和v连接；注意力机制头的计算公式如下：

22、head(χ)＝attention(χw(i),[pk(i):k(i)],[pv(i):v(i)])

23、其中，head(χ)是输入序列的嵌入表示；

24、w(i)是第i个注意力头的权重矩阵，用于从输入嵌入生成查询向量；

25、k(i)和v(i)分别是第i个注意力头的原始键和值向量；

26、pk(i)和pv(i)是第i个注意力头的可训练键和值的前缀向量；

27、:表示连接操作。

28、基于以上的方法，可选地，所述知识图谱的构建过程包括：

29、数据抽取，即从原始数据中抽取得到结构化数据、半结构化数据和非结构化数据；

30、知识抽取，即从半结构化数据和非结构化数据中提取出实体、属性以及实体间的相互关系，

31、知识融合，即通过合并外部知识库和合并关系数据库的方式对结构化数据进行处理，以及，将从文本中抽取得到的实体对象链接到知识库中对应的正确实体对象；

32、知识加工，包括本体抽取、知识推理和质量评估。

33、第二方面，本技术实施例还提供一种基于大语言模型和知识图谱智能制造能力诊断装置，其应用于基于大语言模型和知识图谱的智能制造能力诊断平台，该装置包括：

34、获取模块，用于获取用户输入的问题，并利用预先训练的信息过滤模型对所述问题进行过滤处理；其中，所述过滤处理用于滤除不属于智能制造领域的问题；

35、检索模块，用于基于过滤处理后的问题在预先构建的智能制造领域的知识库中进行专业知识检索，并基于检索结果构建第一提示词；

36、第一输入模块，用于将所述第一提示词输入预先构建的专业问答模块，得到答案文本；所述专业问答模块基于大语言模型构建得到；

37、抽取模块，用于利用预先训练的信息抽取模型对所述答案文本进行信息抽取，得到三元组信息；

38、匹配模块，用于将所述三元组信息与预先构建的知识图谱进行匹配，得到候选节点数据；

39、选择模块，用于根据用户的选择操作从所述候选节点数据中确定目标节点数据，并基于所述目标节点数据构建第二提示词；

40、第二输入模块，用于将所述第二提示词输入所述专业问答模块，得到知识图谱增强的答案文本。

41、第三方面，本技术实施例还提供一种电子设备，该电子设备包括存储器和处理器；其中，存储器存储有计算机程序，处理器调用并执行计算机程序时，实现第一方面任一项中的基于大语言模型和知识图谱智能制造能力诊断方法。

42、本技术提供的基于大语言模型和知识图谱智能制造能力诊断方法及装置中，创新性地将大语言模型、知识库和知识图谱相结合，实现了大语言模型与专业知识相互融合的问答系统新范式，通过大语言模型、知识库和知识图谱的深度结合，可以提供更加精准、专业的智能制造领域的能力诊断处理，还能够避免重新训练大语言模型所带来的高昂硬件成本和潜在的灾难性遗忘问题。