基于大语言模型的问答处理方法、系统、设备及介质与流程

本发明涉及语言模型，尤其涉及一种基于大语言模型的问答处理方法、系统、设备及介质。

背景技术：

1、大语言模型（large language model，简称llm）是基于深度学习的自然语言处理技术，其主要目的是让机器能够更好地理解和生成人类的自然语言文本，通过与大语言模型进行对话，从而获取想要了解到的内容和答案。

2、目前开源大语言模型的训练数据采用的是大规模的互联网文本数据，包含有各方面的知识，但在某一个领域并没有针对性。在相关技术中，为了增强现有大语言模型在专业领域的能力，采用检索增强生成（retrieval augmented generation，简称rag）技术，能够较好的解决模型的幻觉问题以及不可解释性，使得能看到回答的依据和来源，但依然存在回答准确度较低、完整性较差的问题。

3、因此，现在亟需一种基于大语言模型的问答处理方法、系统、设备及介质来解决上述问题。

技术实现思路

1、针对现有技术存在的问题，本发明提供一种基于大语言模型的问答处理方法、系统、设备及介质。

2、本发明提供一种基于大语言模型的问答处理方法，包括：

3、获取目标问题对应的问题文本数据，并根据所述问题文本数据中关键字对应的关键字类型，对所述问题文本数据进行问题增强处理，得到增强后的问题文本数据；

4、对所述增强后的问题文本数据进行向量化处理，得到问题文本向量；对所述增强后的问题文本数据中的关键字进行向量化处理，得到关键字向量；

5、将所述问题文本向量和所述关键字向量，与大语言模型对应的知识向量数据库中的知识向量数据进行匹配，并将匹配成功的知识向量数据对应的知识文本数据作为目标知识文本数据；

6、将所述目标知识文本数据与所述增强后的问题文本数据进行关键字匹配，并根据匹配得到的关键字，确定所述目标知识文本数据中的目标文本字段；

7、根据所述目标文本字段，构建目标问题检索结果，并将所述目标问题检索结果输入至所述大语言模型，得到由所述大语言模型输出的所述目标问题对应的回答结果。

8、根据本发明提供的一种基于大语言模型的问答处理方法，所述根据所述问题文本数据中关键字对应的关键字类型，对所述问题文本数据进行问题增强处理，得到增强后的问题文本数据，包括：

9、对所述问题文本数据进行关键字提取，确定所述问题文本数据中的各个关键字信息；

10、对所述关键字信息进行判断，若多个所述关键字信息中存在关键字类型为专业名词类型的关键字，获取所述关键字信息对应的专业名词解释内容；

11、若多个所述关键字信息中存在关键字类型为缩写名词类型的关键字，获取所述关键字信息对应的名词全称内容；

12、根据所述专业名词解释内容和/或所述名词全称内容，对所述问题文本数据进行问题增强处理，得到所述增强后的问题文本数据。

13、根据本发明提供的一种基于大语言模型的问答处理方法，在所述根据所述专业名词解释内容和/或所述名词全称内容，对所述问题文本数据进行问题增强处理，得到所述增强后的问题文本数据之前，所述方法还包括：

14、基于预设知识关键字数据库，根据所述问题文本数据中的各个关键字信息，获取对应的目标补充关键字，其中，所述预设知识关键字数据库是由样本关键字信息与所述样本关键字信息对应的样本补充关键字构建得到的，所述样本补充关键字至少包括原理型关键字、解释型关键字和样例型关键字；

15、所述根据所述专业名词解释内容和/或所述名词全称内容，对所述问题文本数据进行问题增强处理，得到所述增强后的问题文本数据，包括：

16、根据所述专业名词解释内容、所述名词全称内容和所述目标补充关键字，对所述问题文本数据进行问题增强处理，得到所述增强后的问题文本数据。

17、根据本发明提供的一种基于大语言模型的问答处理方法，所述对所述问题文本数据进行关键字提取，确定所述问题文本数据中的各个关键字信息，包括：

18、对所述问题文本数据进行关键字提取，得到多个待定关键字；

19、对所述多个待定关键字进行过滤处理，得到所述问题文本数据中的各个所述关键字信息。

20、根据本发明提供的一种基于大语言模型的问答处理方法，所述对所述增强后的问题文本数据进行向量化处理，得到问题文本向量，包括：

21、确定目标向量化处理模型；

22、基于所述目标向量化处理模型，对所述增强后的问题文本数据进行向量化处理，得到所述问题文本向量；

23、所述对所述增强后的问题文本数据中的关键字进行向量化处理，得到关键字向量，包括：

24、基于所述目标向量化处理模型，对所述增强后的问题文本数据中的关键字进行向量化处理，得到所述关键字向量。

25、根据本发明提供的一种基于大语言模型的问答处理方法，所述确定目标向量化处理模型，包括：

26、获取所述增强后的问题文本数据中的文本对应的语言类型信息；

27、根据所述语言类型信息，确定所述目标向量化处理模型。

28、根据本发明提供的一种基于大语言模型的问答处理方法，所述将所述问题文本向量和所述关键字向量，与大语言模型对应的知识向量数据库中的知识向量数据进行匹配，并将匹配成功的知识向量数据对应的知识文本数据作为目标知识文本数据，包括：

29、计算第一相似度值，其中，所述第一相似度值为所述问题文本向量与所述知识向量数据库中的所述知识向量数据之间的相似度值；

30、计算第二相似度值，其中，所述第二相似度值为所述关键字向量与所述知识向量数据库中的所述知识向量数据之间的相似度值；

31、将所述第一相似度值和所述第二相似度值满足对应的预设相似度条件的知识向量数据作为所述匹配成功的知识向量数据；

32、根据所述匹配成功的知识向量数据对应的知识文本数据，构建得到所述目标知识文本数据。

33、根据本发明提供的一种基于大语言模型的问答处理方法，所述根据所述匹配成功的知识向量数据对应的知识文本数据，构建得到所述目标知识文本数据，包括：

34、对所述匹配成功的知识向量数据中的重复文本片段进行去重处理，得到所述目标知识文本数据。

35、根据本发明提供的一种基于大语言模型的问答处理方法，所述将所述目标知识文本数据与所述增强后的问题文本数据进行关键字匹配，并根据匹配得到的关键字，确定所述目标知识文本数据中的目标文本字段，包括：

36、对所述目标知识文本数据进行关键字提取，得到所述目标知识文本数据中每个文本字段的关键字；

37、将所述目标知识文本数据中每个文本字段的关键字和所述增强后的问题文本数据中的关键字进行匹配；

38、在所述目标知识文本数据中，将任意一个关键字与所述增强后的问题文本数据中的关键字匹配成功的文本字段，作为所述目标文本字段。

39、根据本发明提供的一种基于大语言模型的问答处理方法，所述根据所述目标文本字段，构建目标问题检索结果，包括：

40、基于预设检索重排模型和所述目标问题，对所述目标知识文本数据中的多个所述目标文本字段进行排序，并根据排序结果从多个所述目标文本字段中确定最终检索文本字段；

41、根据所述增强后的问题文本数据和所述最终检索文本字段，构建所述目标问题检索结果。

42、根据本发明提供的一种基于大语言模型的问答处理方法，所述根据所述增强后的问题文本数据和所述最终检索文本字段，构建所述目标问题检索结果，包括：

43、基于预设提示词模板，将所述增强后的问题文本数据和所述最终检索文本字段转换为对应的检索格式，得到所述目标问题检索结果。

44、根据本发明提供的一种基于大语言模型的问答处理方法，所述将所述第一相似度值和所述第二相似度值满足对应的预设相似度条件的知识向量数据作为所述匹配成功的知识向量数据，包括：

45、分别将所述第一相似度值和所述第二相似度值按照相似度值从小到大的顺序进行排序，并将相似度值排序结果中前n个所述第一相似度值和所述第二相似度值对应的知识向量数据作为所述匹配成功的知识向量数据，其中，所述第一相似度值和所述第二相似度值是基于余弦相似度算法计算得到的。

46、本发明还提供一种基于大语言模型的问答处理系统，包括：

47、问题获取模块，用于获取目标问题对应的问题文本数据，并根据所述问题文本数据中关键字对应的关键字类型，对所述问题文本数据进行问题增强处理，得到增强后的问题文本数据；

48、向量化模块，用于对所述增强后的问题文本数据进行向量化处理，得到问题文本向量；对所述增强后的问题文本数据中的关键字进行向量化处理，得到关键字向量；

49、第一匹配模块，用于将所述问题文本向量和所述关键字向量，与大语言模型对应的知识向量数据库中的知识向量数据进行匹配，并将匹配成功的知识向量数据对应的知识文本数据作为目标知识文本数据；

50、第二匹配模块，用于将所述目标知识文本数据与所述增强后的问题文本数据进行关键字匹配，并根据匹配得到的关键字，确定所述目标知识文本数据中的目标文本字段；

51、回答模块，用于根据所述目标文本字段，构建目标问题检索结果，并将所述目标问题检索结果输入至所述大语言模型，得到由所述大语言模型输出的所述目标问题对应的回答结果。

52、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于大语言模型的问答处理方法。

53、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大语言模型的问答处理方法。

54、本发明提供的基于大语言模型的问答处理方法、系统、设备及介质，通过对问题文本数据进行问题增强处理和向量化处理，得到问题文本向量和关键字向量，进而将问题文本向量和关键字向量，与大语言模型对应的知识向量数据库中的知识向量数据进行匹配，并将匹配得到的目标知识文本数据与增强后的问题文本数据进行关键字匹配，最终根据匹配得到的关键字，确定目标知识文本数据中的目标文本字段，从而根据目标文本字段构建用于输入至大语言模型的目标问题检索结果，提高了最终答案的准确性和全面性。