基于知识图谱与向量匹配的多模态数据分布式检索方法及系统

本发明属于大数据，涉及海量多模态数据中的信息检索技术，特别涉及一种基于知识图谱与向量匹配的多模态数据分布式检索方法及系统。

背景技术：

1、在大数据时代的背景下，信息的爆炸式增长使得数据的处理和检索成为一项极具挑战性的任务。而过去的数据检索系统，无论是基于倒排索引的传统检索方式，还是泛化性更强的向量相似度匹配方式，亦或是基于知识图谱的检索方式，大多都只应用在单一模态的数据检索场景中。这导致了在多模态数据场景中，数据的信息丰富性无法被充分挖掘，而且难以实现多模态之间的有效关联，未能在全面性和准确性上实现对多模态数据的充分利用。

2、因此，一些学者开始专注于构建多模态数据的检索系统，目前的多模态数据检索方法大致可以分为三种。一是基于关键词和倒排索引的方式，这种方式优点是在数据集较小或特定领域下准确度较高，但缺点是在多模态检索领域需要人工提取出不同模态的关键词，且泛化能力很差。因此这种方式应用较少。

3、二是基于深度学习和向量匹配的多模态检索方式，其中的一种思路如专利cn115563316a，主要是将待检索的多模态数据通过深度学习方法将其映射到统一的向量子空间中，然后通过计算向量的相似度距离(通常为欧氏距离或余弦相似度)得到匹配数据。当然也可以借助深度学习模型来完成匹配过程，例如专利cn110019652a，使用训练好的匹配模型来检索出相似的向量。这种检索方式泛化能力强、跨领域检索准确度高。但其准确度过度依赖映射模型效果，且解释性较差。

4、三是基于多模态知识图谱的检索，如专利cn114741466a，将多模态数据以三元组格式存储并建立多模态知识图谱，之后将多模态检索转换为在知识图谱中上的图搜索问题。这种方式准确度高且可解释性好，但是建立完整、准确的多模态知识图谱代价较高。

5、后续又有学者构建了一些多种方式并存的多模态检索系统，如专利cn117573882a，可以支持知识图谱检索、文本向量检索和图像检索等多种检索方式。但也只是局限于单一领域，并且每种检索方式独立运行，并没有高效融合起来。

6、综上，现有多模态检索专利技术的缺陷和不足主要体现在以下几个方面：

7、多模态统一映射模型效果不稳定：目前大多的多模态统一映射模型都只能处理图片和文字两种模态数据缺少时序、视频等模态数据的支持。且多模态数据嵌入的向量往往不能有效消除歧义，映射效果并不稳定。

8、多模态知识图谱不完整、不准确：多模态知识图谱需要整合来自不同模态的数据，因此需要将不同模态实体匹配起来。目前的多模态知识图谱实体对齐具有较大挑战性。

9、未能将多种检索方式高效融合起来：没有建立一个统一的模型来权衡和整合不同检索方式结果的相关性。且没有并行执行检索过程，不能将多种检索方式高效融合。

10、检索时耗大、效率低：目前大多数多模态检索系统并没有使用分布式计算的优势，导致检索时间较长且效率较低。

技术实现思路

1、为了克服上述现有技术的缺点，本发明的目的在于提供一种基于知识图谱与向量匹配的多模态数据分布式检索方法及系统，可对多模态数据进行组织与存储，并对其进行嵌入和聚类。同时建立多模态知识图谱，实现跨模态数据的有效关联，结合向量相似度匹配来实现多模态检索功能。又引入分布式机制，实现并行检索，保证系统的高可用性与高效性。

2、为了实现上述目的，本发明通过分布式数据库存储和组织多模态数据，并建立统一多模态映射模型将多模态数据嵌入成向量并对齐进同一向量子空间，再通过多级动态聚类来建立索引。同时建立多模态知识图谱以支持基于知识图谱的多模态检索，并将两种方式结合实现多模态数据的检索功能。引入分布式技术保证检索过程的准确性与迅捷性。同时，系统提供了可视化展示，使得用户能够直观地了解多模态数据检索结果，并进行比较筛选等操作。

3、具体地，本发明的第一方面，提供了一种基于知识图谱与向量匹配的多模态数据分布式检索方法，包括如下步骤：

4、步骤1，将来自若干多模态数据库节点的多模态数据进行数据清洗后存储；

5、步骤2，将存储的多模态数据利用多模态数据统一映射模型嵌入为向量，并通过多级动态聚类使所述向量形成树形检索结构，针对每个簇中的数据建立双向链表，通过指向其所属簇簇心向量的指针来查询该簇内的具体数据；

6、步骤3，将存储的多模态数据以三元组格式存储并建立多模态知识图谱；

7、步骤4，根据用户输入的检索条件进行多模态数据检索，方法如下：将检索条件嵌入为条件向量，使其与簇心向量在同一空间中，然后并行执行向量检索和多模态知识图谱检索，将两种方式检索出的数据进行打分后整合并排序，返回评分靠前的前n条数据列表，并进行展示。

8、本发明的第二方面，提供了一种基于知识图谱与向量匹配的多模态数据分布式检索系统，能够实现第一方面所述的基于知识图谱与向量匹配的多模态数据分布式检索方法，系统包括：

9、数据存储与组织模块，将多模态数据进行数据清洗，并按照相应的数据结构或数据库进行存储，同时引入分布式机制提高存储容量与系统检索效率；

10、多模态数据表示与融合模块，将多模态数据通过多模态数据统一映射模型嵌入为向量，并通过特征融合与对齐将初始向量映射到同一向量空间；

11、多级动态聚类与索引模块，将嵌入的向量通过多级动态聚类形成树形检索结构，同时针对每个簇中的数据建立双向链表，通过指向其所属簇簇心向量的指针来查询该簇内的具体数据；

12、多模态知识图谱，通过将多模态数据以三元组格式存储并建立，以支持后续在多模态知识图谱上的检索。

13、多模态检索模块，将用户输入的检索条件嵌入为条件向量，使其与簇心向量在同一空间中，而后并行执行向量检索和多模态知识图谱检索，之后将两种方式检索出的数据进行打分后整合并排序，返回评分靠前的前n条数据列表。

14、因此，与现有技术相比，本发明的优点主要在于：

15、1.引入分布式技术来存储、组织多模态数据，结合多级动态聚类建立灵活高效的索引，既提升了数据存储容量和检索效率，又适应了多模态数据的动态分布，确保了检索过程的准确性与迅捷性。

16、2.利用深度学习的方法建立多模态数据统一映射模型，使多模态数据嵌入同一向量空间。在图片、文本的基础上加入了视频、音频等时序模态数据，建立了不同模态数据之间的关联，从而实现多模态数据检索。

17、3.现有的多模态知识图谱建立大多是基于传统实体和关系抽取的方法，本发明引入了大模型来帮助建立多模态知识图谱，利用大模型对语义和图片数据的理解能力来消除不同模态实体之间的歧义，显著提高了多模态知识图谱的完整性和准确性。

18、4.现有多模态检索方法没有将向量匹配和多模态知识图谱检索结合，本发明将向量匹配和多模态知识图谱检索方式高效融合，提升检索准确率和泛化能力。

技术特征：

1.一种基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，包括如下步骤：

2.根据权利要求1所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，所述步骤1，在进行数据清洗之后，针对不同模态数据，按照其相应需求确定分片键，通过数据分片引擎中的分片算法将多模态数据路由到对应存储分片上，并根据数据的不同模态和结构，确定其对应的数据库和数据存储方式，存储进分布式数据库中。

3.根据权利要求1所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，所述步骤2，将存储的多模态数据利用多模态数据统一映射模型嵌入为向量后，通过特征融合与对齐将初始向量映射到同一向量空间。

4.根据权利要求1所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，所述将存储的多模态数据利用多模态数据统一映射模型嵌入为向量，包括：

5.根据权利要求1所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，采用线性变换对各模态数据最终输出的特征向量分别进行维度转化，使其能够与性能指标在同一个特征向量空间进行表示；采用2个transformer层对线性变换后的特征向量进行多次非线性变换以提取更丰富特征，进而获得特征向量g；

6.根据权利要求1所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，所述步骤2，使用增量gmm算法进行多级动态聚类，使所述向量形成树形检索结构，基本聚类过程如下：

7.根据权利要求6所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，所述针对每个簇中的数据建立双向链表，通过指向其所属簇簇心向量的指针来查询该簇内的具体数据，方法如下：

8.根据权利要求6所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，所述针对所述树型索引结构中的每个簇，提取其中的特征和关键词，生成代表该簇特征的词云，方法如下：

9.根据权利要求1所述基于知识图谱与向量匹配的多模态数据分布式检索方法，其特征在于，所述步骤4，并行执行向量检索和多模态知识图谱检索如下：

10.一种基于知识图谱与向量匹配的多模态数据分布式检索系统，其特征在于，包括：

技术总结本发明公开了一种基于知识图谱与向量匹配的多模态数据分布式检索方法及系统，通过分布式数据库存储和组织多模态数据，并建立统一多模态映射模型将多模态数据嵌入成向量并对齐进同一向量子空间，再通过多级动态聚类来建立索引。同时建立多模态知识图谱以支持基于知识图谱的多模态检索，并将两种方式结合实现多模态数据的检索功能。引入分布式技术保证检索过程的准确性与迅捷性。本发明可对多模态数据进行组织与存储，并对其进行嵌入和聚类。同时建立多模态知识图谱，实现跨模态数据的有效关联，结合向量相似度匹配来实现多模态检索功能。又引入分布式机制，实现并行检索，保证系统的高可用性与高效性。技术研发人员：鲍军鹏,马俊杰,何超受保护的技术使用者：西安交通大学技术研发日：技术公布日：2024/8/27