结合AIAgent的暗网领域知识图谱构建与检索的方法及系统与流程

本发明涉及网络安全，尤其涉及一种结合ai agent的暗网领域知识图谱构建与检索的方法及系统。

背景技术：

1、在网络安全领域，暗网因其匿名性和难以追踪的特性，成为信息检索和知识图谱构建的难点。暗网数据的稀疏性和高匿名度导致现有知识图谱难以准确关联实体和关系，检索准确性不高。现有技术在处理暗网数据时，面临数据源的不确定性和信息的不完整性，难以构建一个全面且准确的暗网知识图谱。此外，现有检索系统在面对复杂的查询时，往往无法提供足够丰富的上下文信息，导致检索结果的覆盖面和深度不足。因此，如何有效构建和检索暗网知识图谱，提高检索的准确性和完备性，成为亟待解决的技术难题。

技术实现思路

1、针对暗网数据稀疏性高、匿名性高导致的现有知识图谱关联度低、检索准确性不高的问题，提出一种结合ai agent的暗网领域知识图谱构建与检索的方法及系统。本发明利用ai agent在构建领域知识图谱的过程中对实体等相关数据进行搜索，增加实体的属性与关系，以及在检索过程中将ai agent的搜索结果与使用llm对知识图谱进行检索的结果进行融合，生成查询内容，从而提高知识图谱检索的完备性与准确性。

2、本发明公开了一种结合ai agent的暗网领域知识图谱构建与检索的方法，其包括：

3、步骤1：根据暗网领域的专家知识，构建本体，定义实体类型、实体属性、关系类型、关系属性；实体类型包括暗网用户、暗网涉及人物、暗网贴文、暗网事件、虚拟货币地址和暗网商品；实体属性包括暗网用户的基本信息、暗网用户社交信息、暗网涉及人物的基本信息、暗网涉及人物社交信息、暗网涉及人物的行业信息；关系类型包括暗网用户关联虚拟货币地址、暗网用户发布暗网贴文、暗网用户提及暗网涉及人物；关系属性包括网用户发布暗网贴文的时间、暗网用户提及暗网涉及人物的情感倾向；

4、步骤2：从对暗网贴文中抽取实体和关系；

5、步骤3：通过ai agent对步骤2提取的实体和关系进行数据增强；

6、步骤4：响应用户的查询并生成对应的检索内容。

7、进一步地，所述步骤2包括：

8、步骤21：对暗网贴文进行数据清洗，过滤空文本、非文本内容以及无意义文本，将文本数据转为langchain中的document类型；

9、步骤22：设置用于实体与关系抽取的提示词信息；

10、步骤23：选用大语言模型，基于步骤22中的提示词信息，对暗网贴文的document类型的文本进行实体、关系抽取，抽取文本中的实体信息、关系信息、实体属性。

11、进一步地，所述步骤3包括：

12、步骤31：定义用于信息搜索的agent，使用load_tools工具载入google-serper，并初始化agent；

13、步骤32：利用agent对已抽取的实体信息进行搜索；已抽取的实体信息包括暗网用户昵称、暗网提及人物的名称和虚拟货币地址；

14、步骤33：利用chatglm从agent搜索结果中提取实体对应的属性和关系信息，按照指定的节点类型、节点属性、关系类型输出；

15、步骤34：将步骤23中产生的实体信息、关系信息、实体属性与步骤33中的节点类型、节点属性、关系类型进行合并。

16、进一步地，所述步骤4包括：

17、步骤41：利用chatglm接收并解析用户查询语句，输出被检索的实体以及输出图数据查询的cypher语句；

18、步骤42：利用图数据库查询语句进行查询，返回暗网领域知识图谱返回的检索结果；

19、步骤43：利用agent对被检索的实体进行互联网搜索，获取可能相关的外部信息；

20、步骤44：融合步骤42的检索结果和步骤43的搜索结果，生成检索信息；

21、步骤45：利用chatglm对步骤44生成的检索信息进行调整与总结并返回给用户。

22、进一步地，所述步骤1之后，所述步骤2之前，还包括：

23、选择图数据库，创建实体与关系的模式，定义实体与关系的类型，以便于后续数据填充和图谱扩展。

24、进一步地，所述步骤3之后，所述步骤4之前，还包括：

25、将步骤33产生的节点类型、节点属性、关系类型转为graphdocument类型；将产生的graphdocument类型数据加入图数据库中。

26、本发明还公开了一种结合ai agent的暗网领域知识图谱构建与检索的系统，实现上述任一项所述的结合ai agent的暗网领域知识图谱构建与检索的方法，其包括暗网知识图谱构建模块、图数据库存储模块、知识图谱检索与内容生成模块；

27、暗网知识图谱构建模块用于构建暗网领域知识图谱，包括定义暗网特有的实体类型和关系类型、抽取识别出暗网文本中的实体和关系、对已识别的实体进行网络搜索，从互联网中获取更多所需信息，增强知识图谱的实体属性和关系信息；

28、图数据库存储模块用于将抽取并增强后的实体、关系数据写入图数据库中；

29、知识图谱检索与内容生成模块用于利用ai agent对用户输入进行互联网搜索，结合图向量知识库技术，将用户问题转化为向量形式，实现在知识图谱中的精准检索；利用llm的文本生成能力，将两次检索结果进行融合，最终生成结构化的检索内容。

30、由于采用了上述技术方案，本发明具有如下的优点：

31、1.提高检索准确性：通过ai agent辅助的数据增强，本发明能够为知识图谱补充更多的实体属性和关系，克服了暗网数据稀疏性高的问题。

32、2.提升检索完备性：本发明的方法能够将ai agent的搜索能力和llm的自然语言处理能力相结合，从而提升对暗网数据的检索完备性。

33、3.增强知识图谱的关联度：利用专家经验和自动化抽取相结合的方式，本发明构建的知识图谱具有更高的关联度，有助于提高检索的准确性和响应的丰富性。

技术特征：

1.一种结合ai agent的暗网领域知识图谱构建与检索的方法，其特征在于，包括：

2.根据权利要求1所述的结合ai agent的暗网领域知识图谱构建与检索的方法，其特征在于，所述步骤2包括：

3.根据权利要求2所述的结合ai agent的暗网领域知识图谱构建与检索的方法，其特征在于，所述步骤3包括：

4.根据权利要求3所述的结合ai agent的暗网领域知识图谱构建与检索的方法，其特征在于，所述步骤4包括：

5.根据权利要求4所述的结合ai agent的暗网领域知识图谱构建与检索的方法，其特征在于，所述步骤1之后，所述步骤2之前，还包括：

6.根据权利要求5所述的结合ai agent的暗网领域知识图谱构建与检索的方法，其特征在于，所述步骤3之后，所述步骤4之前，还包括：

7.一种结合ai agent的暗网领域知识图谱构建与检索的系统，实现权利要求1-6任一项所述的结合ai agent的暗网领域知识图谱构建与检索的方法，其特征在于，包括暗网知识图谱构建模块、图数据库存储模块、知识图谱检索与内容生成模块；

技术总结本发明公开了一种结合AI Agent的暗网领域知识图谱构建与检索的方法及系统，该方法包括根据暗网领域的专家知识，构建本体，定义实体类型、实体属性、关系类型、关系属性；从对暗网贴文中抽取实体和关系；通过AI Agent对提取的实体和关系进行数据增强；响应用户的查询并生成对应的检索内容。本发明实现了对暗网数据的高效抽取、实体信息智能扩展和暗网内容精准检索。技术研发人员：丁建伟,李航,李欣泽,李斌,王鑫,陈周国受保护的技术使用者：中国电子科技集团公司第三十研究所技术研发日：技术公布日：2024/7/29