一种基于BERT增强的ES检索知识库方法与流程

本发明涉及自然语言处理，具体为一种基于bert增强的es检索知识库方法。

背景技术：

1、在当前的信息爆炸时代，搜索引擎已成为获取信息的重要工具。传统的搜索引擎通常依赖关键词匹配和倒排索引技术，通过在文档中搜索与用户查询相同或相似的关键词来返回结果。这种方法在处理简单查询时效果较好，但在面对复杂的自然语言查询时，往往无法准确理解用户的意图，从而导致检索结果的相关性和准确性不高，因此我们提出了一种基于bert增强的es检索知识库方法来解决上述问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于bert增强的es检索知识库方法，解决了上述背景技术中所提出的问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种基于bert增强的es检索知识库方法，包括如下步骤：

6、s1：用户咨询输入：用户在系统中通过用户咨询模块提交查询请求，系统接收到查询请求后，首先调用权限查询模块，权限查询模块会对用户的身份进行验证，包括用户的角色、权限级别等，根据用户的权限级别，判断用户是否有权访问所查询的内容和访问相应的知识库，如果用户具有相应的访问权限，系统会继续处理查询请求；否则，系统会返回权限不足的提示信息；

7、s2：语义预处理：系统调用bert模型对用户提交的查询进行预处理，bert模型会对查询的语句进行分词、词性标注、实体识别等处理，然后，bert模型会进行深度语义分析，提取查询中的关键信息和上下文关系，最终，bert模型生成一个结构化的语义表示，便于后续处理步骤使用；

8、s3：知识库查询：系统查询是否在知识库中进行匹配，如果没有权限不在知识库中进行匹配，则直接进行通用模型问答，否则知识库查询模块在知识库中检索与查询匹配的条目，如果找到匹配结果，系统会继续进行elasticsearch搜索步骤；

9、s4：elasticsearch搜索：如果可以使用知识库进行匹配，系统会调用elasticsearch索引模块，elasticsearch索引模块根据查询的语义表示，在相关文档和信息中进行检索，搜索引擎会根据相关度和权重排序返回的结果，挑选出最相关的文档或信息，系统将搜索到的结果整合并返回给用户，提供详细的查询反馈内容；

10、s5：地质数据导入：系统支持地质数据的结构化文件导入，地质数据包括地质勘探数据、地质图像、地质报告等，系统将这些地质数据分类为地质数据模块和地质文档模块两大类，地质数据模块和地质文档模块分别存储在地质行业知识库模块中，为后续的查询提供丰富的数据支持；

11、s6：模型生成响应：如果知识库查询没有匹配结果，或者需要补充答案，系统会调用通用大模型模块，通用大模型模块根据知识库查询匹配结果和用户查询，生成智能回答，生成的智能回答会整合知识库中的相关信息，以提供更加全面和准确的答案，最终，系统将生成的答案和知识库匹配到的结果通过咨询反馈内容模块一起反馈给用户，确保用户获得最佳的查询响应。

12、进一步地，所述s1中的用户咨询模块是方法的入口，用户通过该模块输入查询请求，首先接收用户的查询，并进行基础的预处理，例如分词、去除停用词和文本标准化，这一步骤确保查询文本能够被后续的bert模型高效处理；权限查询模块负责验证用户的权限，确保只有授权用户才能访问特定的数据和知识，该模块通过验证用户身份和权限级别，决定用户是否可以进行查询操作，这一步骤提高了系统的安全性和数据保护能力。

13、进一步地，所述s2中经过权限验证后，用户的查询将传递到bert语义理解模块，该模块利用预训练的bert模型对用户查询进行语义编码，生成高维度的语义向量表示，具体过程包括加载预训练的bert模型，将预处理后的查询文本输入模型，通过计算得到查询的语义向量，这些向量能够捕捉查询的语义信息，为后续的检索提供支持；首先，系统需要加载一个预训练好的bert模型，选择使用bert-base模型，其次，用户输入的查询首先需要进行预处理，预处理步骤包括分词、去除停用词和文本标准化，bert的分词器将输入的文本分解成子词单元，这些子词单元将作为模型的输入，处理后的文本需要转换为模型可接受的格式，包括将其转换为token ids和attention masks，接着，预处理后的文本输入到bert模型中进行语义编码，bert模型将文本转换为高维度的向量表示，为了获得整个句子的语义向量，可以使用[cls]标记的输出作为句子的整体表示，然后，bert模型的输出是一个高维度的语义向量，通常是768维(bert-base)，这个向量捕捉了输入文本的语义信息，可以用于相似度计算和检索，最后将生成的语义向量存储在数据库中，以便后续的相似度检索。

14、进一步地，所述s3中bert语义理解模块生成的查询向量将传递到查询知识库模块，该模块负责在系统的知识库中进行检索操作，包括地质数据、地质文档和地质行业知识库，查询知识库模块通过在这些知识库中查找与查询向量相似的文档，初步筛选出可能相关的结果。

15、进一步地，所述s4中elasticsearch索引模块负责将知识库中的文档进行索引，该模块利用es的向量数据库，存储和索引bert生成的文档语义向量，通过配置es的向量数据库，确保其能够高效存储和检索高维度向量，索引建立后，系统可以在es中进行向量相似度检索，提高检索效率；

16、在生成文档语义向量后，在elasticsearch中创建索引以存储这些向量，首先，定义索引名称，并为语义向量字段配置合适的类型，如dense_vector，然后，将生成的每个文档语义向量存储到elasticsearch的索引中，例如索引名称为document_index，语义向量字段名称为vector，将文档id和对应的语义向量存储在索引中，每个文档的语义向量作为一个字段存储；

17、使用elasticsearch的向量检索功能，通过余弦相似度计算查询向量与索引中文档向量之间的相似度，elasticsearch内部利用余弦相似度计算函数，计算查询向量和每个文档向量之间的相似度，余弦相似度公式如下：其中vq·vd表示向量vq和vd的点积，||vq||和||vd||分别表示vq和vd的欧氏长度，根据相似度计算结果，对文档进行排序，并返回最相关的文档。

18、进一步地，所述s5中地质数据模块存储和管理与地质相关的数据，这些数据包括地质测量结果、地质图表和其他地质相关的数据信息，该模块的数据将被索引，并在用户查询时作为检索的候选集；地质文档模块存储和管理与地质相关的文档，这些文档包括地质报告、研究论文、技术文档等，地质文档模块的数据将被索引，并在用户查询时作为检索的候选集；

19、地质行业知识库模块是一个专门存储和管理地质行业知识的数据库，该模块包含地质行业的专业知识、术语解释、行业标准等，地质行业知识库模块的数据将被索引，并在用户查询时作为检索的候选集；

20、在地质行业知识库模块中，ocr(optical character recognition)识别用于将地质文档中的文字内容从图像格式转换为可编辑的文本格式，首先，对地质文档的图像进行预处理，以提高ocr识别的准确性，预处理步骤可能包括去噪、二值化、倾斜校正和分辨率调整等，接着，使用图像处理算法或深度学习模型检测图像中的文字区域，然后，将检测到的文字区域输入ocr引擎进行文字识别，最后，对ocr识别的结果进行后处理，包括拼写检查、格式调整和特殊符号处理等，以确保识别文本的准确性和可读性；

21、在地质文档被ocr识别后，需要对文档进行切分，以便后续的索引和检索，首先，将识别后的文本按段落切分，段落切分根据文档的格式进行，段落是文档的基本单元，每个段落通常包含一个完整的思想或信息，在段落切分的基础上，将段落进一步切分为句子，句子切分通常根据标点符号(如句号、问号和感叹号)进行，句子是更细粒度的文本单元，适合于精细化的信息提取和检索，接着，从文档中提取元数据，包括标题、作者、日期、地质区域等信息，这些元数据有助于文档的分类和索引，可以提高检索的准确性，然后，将切分后的文本和元数据结构化存储，以便于后续的处理和检索，最后，将结构化的文本内容和元数据存储，每个文档的内容作为一个独立的索引项，便于后续的语义检索和相似度计算。

22、进一步地，所述s6中通用大模型模块负责提供与地质行业相关的通用知识和信息，该模块包含了地质行业的背景知识、常见问题解答和其他相关信息，通过结合通用大模型模块的信息，系统能够提供更加全面和准确的检索结果。

23、进一步地，所述s6中咨询反馈内容模块负责收集和处理用户的反馈信息，通过用户反馈，可以不断优化bert模型和检索算法，提高检索结果的准确性和用户满意度，具体来说，通过前端界面收集用户对搜索结果的评价和点击行为，将收集到的反馈数据用于调整和优化系统。

24、(三)有益效果

25、与现有技术相比，本发明提供了一种基于bert增强的es检索知识库方法，具备以下有益效果：

26、本发明，通过利用bert的语义理解能力，能够更准确地理解用户查询意图，从而提高检索结果的质量和相关性，bert能够处理更加复杂和长文本，能够检索和理解更广泛的知识库内容，包括长文档、技术文档、新闻报道等，由于检索结果更加精确和相关，用户能够更快速地找到所需信息，提升了用户的检索体验和满意度。