一种融合多模态知识的农业知识图谱嵌入方法

本发明涉及知识图谱，更具体地说，本发明涉及一种融合多模态知识的农业知识图谱嵌入方法。

背景技术：

1、知识图谱嵌入技术正在改变处理和分析大规模的非数值化知识的方向，在农业领域，结合知识图谱的应用不断扩展，从作物疾病管理到气候评估，为研究者和专业人士提供了丰富的农业信息资源。然而，随着农业知识图谱规模的不断扩大，所需要的知识不断增多，知识图谱固有的不完整特性也成为限制其应用的一个关键问题。为了解决知识图谱不完整的问题，知识图谱嵌入通过将图谱中的实体和关系转化为低维的连续向量表示，不仅优化了知识的存储与检索，而且通过挖掘隐含的潜在知识关系，通过补全任务，有效地增强了图谱的完整性，为下游应用如推荐系统、农业知识问答等提供了更为准确的知识基础。尽管如此，现有的知识图谱嵌入技术在捕捉和利用知识的层级结构上仍存在局限。在农业数据集中，实体并非孤立存在，它们通常按照不同的实体类别归纳为实体聚簇，例如不同的作物种类、病虫害类型或者农业机械。每个实体聚簇内的实体又包含了丰富的层级信息，如作物的种植周期、病虫害的影响范围或机械的作业能力等；此外，农业领域的实体也蕴含丰富的多模态信息，如图像、声音、传感器数据、文本描述等，为实体提供了更为细致的特征信息，这些信息对于实现精准的知识图谱补全至关重要，但是，目前的农业知识图谱嵌入技术对多模态信息以及实体层次信息的利用较为匮乏。为了解决上述问题，现提供一种技术方案。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供了一种融合多模态知识的农业知识图谱嵌入方法，汇集了一个农业数据集，包含不同实体的多种形式的信息，每个实体不仅有图像、声音、传感器数据等非文本信息，也有详细的文本描述，解决了目前的农业知识图谱嵌入技术没有利用多模态信息以及实体层次信息的问题，充分利用农业领域中的数据，并从中提取有价值的信息。

2、为实现上述目的，本发明提供如下技术方案：

3、一种融合多模态知识的农业知识图谱嵌入方法，包括以下步骤：

4、步骤s1，编码农业数据集中每个实体的文本描述信息，得到文本特征；

5、步骤s2，编码农业数据集中每个实体的图片信息，得到视觉特征；

6、步骤s3，编码农业数据集中每个实体的传感器数据，得到传感器数据特征；

7、步骤s4，将得到的特征信息输入到全连接神经网络中进行融合，获得最终的实体多模态特征；

8、步骤s5，整合实体底层的多模态特征、实体原本的结构信息和实体顶层的类别信息，形成综合的实体嵌入表示；

9、步骤s6，知识图谱嵌入模型通过链接预测损失函数进行实体嵌入表示学习。

10、作为本发明进一步的方案，步骤s1中，使用预训练的双向编码器表征法模型作为农业数据集中每个实体的文本信息的编码器，将最后的隐藏层得到的特征向量作为文本特征，其中，最后的隐藏层得到的特征向量的公式为：

11、ht＝ft(mt)；

12、式中，ht为文本特征，mt为农业数据集中每个实体的文本描述信息，ft()为文本信息的编码器。

13、作为本发明进一步的方案，步骤s2中，采用预训练的图像分类模型作为农业数据集中每个实体的图片信息的视觉特征提取编码器，提取与追踪标记相关的最后一层输出向量作为视觉特征，其中，与追踪标记相关的最后一层输出向量的公式为：

14、hv＝fv(mv)；

15、式中，hv为视觉特征，mv为农业数据集中每个实体的图片信息，fv()为图片信息的编码器。

16、作为本发明进一步的方案，步骤s3包括以下步骤：

17、步骤s31，对不同地区的农业数据集中每个实体的传感器数据归一化；

18、步骤s32，采用阶梯划分的方式，按照7个等级对农业数据集中每个实体的传感器数据进行划分，每个等级对应一个传感器数据向量，作为传感器数据特征。

19、作为本发明进一步的方案，步骤s4中，实体多模态特征的表示公式为：

20、hm＝ffusion(concat(ht,hv,hs))；

21、式中，hm为实体多模态特征，ffusion为全连接神经网络，concat操作为将各个向量拼接，ht为文本特征，hv为视觉特征，hs为传感器数据特征。

22、作为本发明进一步的方案，采用transe模型捕捉实体原本的结构信息并将其转化为机器学习能够处理的数值形式，最小化头实体向量加关系向量与尾实体向量之间的距离。

23、作为本发明进一步的方案，步骤s5中，最后的实体嵌入表示由实体底层的多模态特征、实体原本的结构信息和实体顶层的类别信息组成，其层级关系结构提供关于实体之间层级和类别的信息，其中，最后的实体嵌入表示的公式为:

24、h＝hm+h′+hc；

25、式中，h为最后的实体嵌入表示，hm为实体底层的多模态特征，h′为实体原本的结构信息，hc为实体顶层的类别信息。

26、作为本发明进一步的方案，将语义相似的实体组成关系簇，并在学习相关实体的嵌入时以集体的方式训练同一组中的实体。

27、作为本发明进一步的方案，在步骤s6中，损失函数的期望为最小化正样本得分，同时最大化负样本得分，其中，损失函数中的正样本得分计算公式为：

28、

29、式中，fe(h,t)为正样本得分，hm为实体的底层多模态特征，h′为实体原本的结构信息，hc为实体顶层的类别信息，tm为尾实体的底层多模态特征，t′为尾实体原本的结构信息，tc为尾实体顶层的类别信息，r为关系的表示向量，l2为l2阶正则项优化。

30、与现有技术相比，本发明一种融合多模态知识的农业知识图谱嵌入方法的有益效果在于：

31、本发明的知识图谱嵌入模型通过整合多模态数据处理能力，可以有效地利用各种类型的数据源来增强知识图谱的表达能力，模型能够将文本描述、图像特征、传感器数据和结构化知识结合起来，为每个实体和关系创建一个更加全面的嵌入表示。多模态数据提供了额外的语义层次，有助于捕捉实体和关系的微妙差异，从而提高实体分类和链接预测的准确性。通过将多模态上下文信息融入嵌入向量，模型能够更好地泛化到未见过的实体或关系，提高其在现实世界应用的鲁棒性。

32、与现有技术相比，本发明一种融合多模态知识的农业知识图谱嵌入方法的有益效果在于：

33、本发明知识图谱嵌入模型深入利用层级关系结构，在模型设计中引入了对层级信息的直接编码。通过层级框架，模型不仅能识别实体之间的直接关系，还能识别和利用不同层级之间的隐含关系，增强了模型对复杂关系的建模能力。层级结构使得模型能够在不同层级之间有效地传递信息。这样，即使是在底层的实体也可以从上层实体中学习到知识，反之亦然，从而提高整个知识图谱的预测精度和鲁棒性。

技术特征：

1.一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，步骤s1中，使用预训练的双向编码器表征法模型作为农业数据集中每个实体的文本信息的编码器，将最后的隐藏层得到的特征向量作为文本特征，其中，最后的隐藏层得到的特征向量的公式为：

3.根据权利要求1所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，步骤s2中，采用预训练的图像分类模型作为农业数据集中每个实体的图片信息的视觉特征提取编码器，并添加追踪标记，提取与追踪标记相关的最后一层输出向量作为视觉特征，其中，与追踪标记相关的最后一层输出向量的公式为：

4.根据权利要求1所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，步骤s3包括以下步骤：

5.根据权利要求1所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，步骤s4中，实体多模态特征的表示公式为：

6.根据权利要求1所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，采用transe模型捕捉实体原本的结构信息并将其转化为机器学习能够处理的数值形式。

7.根据权利要求1或6所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，步骤s5中，最后的实体嵌入表示由实体底层的多模态特征、实体原本的结构信息和实体顶层的类别信息组成，其层级关系结构提供关于实体之间层级和类别的信息，其中，最后的实体嵌入表示的公式为：

8.根据权利要求1所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，将语义相似的实体组成关系簇，并在学习相关实体的嵌入时以集体的方式训练同一组中的实体。

9.根据权利要求1所述的一种融合多模态知识的农业知识图谱嵌入方法，其特征在于，在步骤s6中，损失函数的期望为最小化正样本得分，同时最大化负样本得分，其中，损失函数的正样本得分计算公式为：

技术总结本发明涉及知识图谱技术领域，提供了一种融合多模态知识的农业知识图谱嵌入方法，该方法首先编码农业数据集中每个实体的文本描述信息、图片信息和传感器数据，得到文本特征、视觉特征和传感器数据特征；然后将这些特征信息输入到全连接神经网络中进行融合，获得最终的实体多模态特征；接下来整合实体底层的多模态特征、实体原本的结构信息和实体顶层的类别信息，形成综合的实体嵌入表示；最后，知识图谱嵌入模型通过链接预测损失函数进行实体嵌入表示学习。通过将不同层级信息整合进知识图谱嵌入模型，能够更精准地捕捉实体之间的层级关系和语义特征。技术研发人员：高宇枭,张富威,童逸琦,庄福振受保护的技术使用者：北京航空航天大学技术研发日：技术公布日：2024/8/27