基于复合运算的多模态知识图谱补全方法与流程

本申请涉及电数字处理，具体而言，涉及一种基于复合运算的多模态知识图谱补全方法。

背景技术：

1、在大语言模型盛行的时代，各个方面都开始对大模型的更深刻的探索与挖掘。众所周知，知识图谱作为大语言模型的训练集，为大语言模型提供了丰富的语料知识，使得大模型在处理众多专业领域中的任务有专业的数据支持，从而能够更好的适应领域以及背景的变化。伴随着大模型的发展，知识图谱也开始变得越来越多样化；从一开始单一的图片或者单一的文本知识图谱，转变成了图片和文本混合的多模态知识图谱，甚至更有可能会出现图片、文本和语音混合的多模态知识图谱。多模态知识图谱的出现也诞生了不同的多模态任务，其中包括了图像分类、视觉问答、多模态知识图谱补全和实体对齐等等。

2、对于多模态知识图谱中的各种任务，多模态知识图谱领域中也衍生出了适用于自己特定领域的模型和方法，将多模态的数据整合在一起进行训练，这种做法在一定程度上保持了文本和图片的高度一致性；但另一方面也忽略了文本和图片不同数据中所包含的独特的特性。这两种的数据表达方式各有自己的优点和缺点，比如说文本表达：“花盆里埋着一颗月季花的种子”，或者一幅“同学正在演讲”的图片；从这两个例子中可以想象出，图片很难表示出花盆里埋着一颗种子，更别说是月季花的种子了。然而，同学正在演讲的图片应当比文字描述会展示更多的结果，比如说演讲热的外貌，穿着，头发颜色等等，这些特征可以通过图像的信息进一步的丰富。

3、在多模态知识图谱中，图片和文本有各自的优缺点，那么在进行知识图谱补全的过程中，如何利用这些特征预测最佳的缺失实体，是本申请主要解决的技术问题。

技术实现思路

1、本申请的目的在于提供一种基于复合运算的多模态知识图谱补全方法，以在多模态知识图谱中进行高精度的特征表达，进而完成多模态知识图谱的补齐。

2、为了实现上述目的，本申请采用以下技术方案：

3、本申请提供了一种基于复合运算的多模态知识图谱补全方法，包括：

4、获取多模态知识图谱，所述多模态知识图谱包括由头实体、时间、关系和尾实体构成的多模态四元组，所述头实体、尾实体和关系为图片或者文本；

5、通过将图片生成文本描述，将所述多模态知识图谱转换为包括纯文本四元组的文本知识图谱；

6、基于知识图谱嵌入模型，学习所述纯文本四元组的第一嵌入表示；

7、基于前馈神经网络模型，学习所述多模态四元组的第二嵌入表示；

8、将当前头实体、当前时间和当前关系输入到所述知识图谱嵌入模型和前馈神经网络模型中，得到预测尾实体；并根据所述预测尾实体对所述多模态知识图谱进行补全。

9、与现有技术相比，本申请的有益效果为：

10、本申请首先从多模态知识图谱中提取出文本知识图谱，从而对文本信息进行单独学习；通过知识图谱嵌入模块和前馈神经网络模型，分别学习纯文本的第一嵌入表示，和多模态的第二嵌入表示。通过对知识图谱嵌入模块和前馈神经网络模型的训练过程能够更好的表示出文本信息内容的独有特性，之后在进行尾实体预测的过程中，可以将文本信息内容和多模态信息进行融合，以更好地预测尾实体，从而达到知识图谱补全的目的。

技术特征：

1.一种基于复合运算的多模态知识图谱补全方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，通过将图片生成文本描述，将所述多模态知识图谱转换为包括纯文本四元组的文本知识图谱，包括：

3.根据权利要求1所述的方法，其特征在于，基于知识图谱嵌入模型，学习所述纯文本四元组的第一嵌入表示，包括：

4.根据权利要求3所述的方法，其特征在于，在所述头实体的向量表示上作用时间与关系的平移缩放混合操作，得到预测尾实体的向量表示，包括：

5.根据权利要求3所述的方法，其特征在于，根据预测尾实体与真实尾实体的语义相似性，构建所述知识图谱嵌入模型的第一损失函数，包括：

6.根据权利要求3所述的方法，其特征在于，基于前馈神经网络模型，学习所述多模态四元组的第二嵌入表示，包括：

7.根据权利要求6所述的方法，其特征在于，从多模态四元组的头实体、时间和关系中提取图片特征向量和文本特征向量，包括：

8.根据权利要求6所述的方法，其特征在于，所述前馈神经网络模型包括输入层、三个隐藏层和一个输出层。

9.根据权利要求6所述的方法，其特征在于，将当前头实体、当前时间和当前关系输入到所述知识图谱嵌入模型和前馈神经网络模型中，得到预测尾实体之前，还包括：

10.根据权利要求1所述的方法，其特征在于，将当前头实体、当前时间和当前关系输入到所述知识图谱嵌入模型和前馈神经网络模型中，得到预测尾实体，包括：

技术总结本申请涉及电数字处理技术领域，具体而言，涉及一种基于复合运算的多模态知识图谱补全方法。该方法包括获取多模态知识图谱，通过将图片生成文本描述，将所述多模态知识图谱转换为包括纯文本四元组的文本知识图谱；基于知识图谱嵌入模型，学习所述纯文本四元组的第一嵌入表示；基于前馈神经网络模型，学习所述多模态四元组的第二嵌入表示；将当前头实体、当前时间和当前关系输入到所述知识图谱嵌入模型和前馈神经网络模型中，得到预测尾实体；并根据所述预测尾实体对所述多模态知识图谱进行补全。本申请在多模态知识图谱中进行高精度的特征表达，进而完成多模态知识图谱的补齐。技术研发人员：张琳琳,王兆,戎辉,刘洋,闫志强,门玉文,周越,任伟星,李昀峰受保护的技术使用者：中国汽车技术研究中心有限公司技术研发日：技术公布日：2025/1/6