一种基于多跳转多模态知识图谱的服务融合方法与系统

本发明涉及知识图谱、强化学习领域，具体涉及一种基于多跳转多模态知识图谱的服务融合方法与系统。

背景技术：

1、在城市化进程的加速以及人们对生活质量的不断追求的背景下，智慧社区建设已成为城市发展的重要方向之一。智慧社区涉及多个领域，包括物业管理、社区服务、公共安全、环境监测等，因此需要跨越多个领域，整合各种信息和服务资源，以实现智能化、高效化的社区运营管理。在这一背景下，构建智慧社区知识图谱成为一项重要举措，可整合各领域的信息和知识，实现多领域信息的跨界整合和智能化管理。知识图谱的应用有助于实现不同领域之间的信息关联和交互，促进社区内部各项服务的协同运作和智能化决策支持。此外，智慧社区知识图谱还可作为智能问答系统的知识源，为居民提供智能化的问答和交互服务，从而提升社区居民的生活品质和城市管理的智能化水平。

2、知识图谱研究涉及知识的表示与建模、抽取与获取、融合与推理等多个方面，作为一种结构化人类知识的形式，可以帮助整合这些信息，构建一个跨领域的智慧社区知识图谱，包括物业信息、居民服务、安全数据、环境监测等。通过这样的知识图谱，可以实现对社区资源的全面理解和管理，支持智慧社区内各项服务的协同运作和智能化决策支持。例如，可以利用知识图谱提供智能问答和交互服务，为居民提供个性化的社区服务信息；也可以通过知识图谱进行智能推荐，为社区管理者提供决策支持，如提前预警社区安全隐患或优化社区资源配置。因此，知识图谱在智慧社区建设中发挥着重要的作用，是实现智慧社区运营管理的重要技术手段之一。

3、尽管知识图谱在多个应用领域中具有广泛的潜力，但在当前阶段仍然存在一些挑战和问题。首先，跨领域的智慧社区知识图谱具有不同的特点和表示方式，如何有效地融合和建模这些数据，以实现准确的知识图谱描述仍然是一个重要的研究问题。其次，当前阶段的算法主要专注于完成单跳转知识图谱融合的模型，然而，这些模型的推理性能相对较低，无法很好地捕捉到复杂的跨领域关系和语境。因此，它们很难将不同类型或不同来源的服务整合在一起，以提供更全面、更一体化的解决方案。这一局限性限制了知识图谱在服务融合领域的应用效果和发展潜力，需要进一步的研究和改进来克服这些挑战。因此，如何提高知识图谱融合模型的推理性能，以更好地捕捉复杂的跨领域关系和语境，并将不同类型或来源的服务整合在一起，成为当前阶段知识图谱在服务融合领域亟待解决的问题。

4、目前的现有技术之一为论文“metap:meta pattern learning for one-shotknowledge graph completion”基于传统知识图谱的融合方法。此类技术将文本知识图谱视为一种体现人类知识结构的重要形式。这些图谱以文本作为主要对象，通过构建三元组来描述实体之间的关系和属性，从而建立起丰富的语义网络。在这个网络中，每个实体都被赋予了语义标签，使得不同实体之间的关联和语义联系得以清晰地呈现，从而为知识的存储、检索和推理提供了有力支持。这种融合方法使得文本知识得以以结构化的方式被表示和利用，实现对在各个领域中应用潜力的拓展。该技术的缺点是，首先，这些方法没有考虑多模态知识，导致在知识表示和推理过程中缺乏对多样化信息的综合考虑。其次，这些方法只专注于完成单跳推理的模型，无法很好地处理复杂的多跳推理任务，导致推理性能较低，难以满足当前对于智慧社区建设等领域中复杂需求。

5、目前的现有技术之二为论文“multimodal data enhanced representationlearning for knowledge graphs”基于多模态知识图谱的融合方法。此类技术将不同类型的数据(如文本、图像、视频等)整合到知识图谱中，以丰富和完善知识的表示。这种方法不仅考虑了传统文本知识图谱的构建方式，还将多模态数据与之结合，形成跨模态的知识表示。通过将不同模态的数据进行关联和融合，可以更全面地表达知识，提供更丰富的语义信息。这样的融合方法有助于更好地理解和推理跨模态的复杂知识，从而为智慧社区建设等领域提供更强大的支持和解决方案。该技术的缺点是，现阶段的基于多模态知识图谱的融合方法可能在跨模态关联上表现不佳，因为它更倾向于将不同模态的数据独立地整合到图谱中，而缺乏对跨模态关联的深入挖掘和建模。

技术实现思路

1、本发明的目的是克服现有方法的不足，提出了一种基于多跳转多模态知识图谱的服务融合方法与系统。本发明解决的主要问题，是如何有效利用多模态辅助特征来完成多跳转知识图谱推理的问题，以及如何克服服务融合模型推理效率低下和跨模态关联困难的问题。

2、为了解决上述问题，本发明提出了一种基于多跳转多模态知识图谱的服务融合方法，所述方法包括：

3、输入多模态跨界物业服务数据知识图谱g和服务请求q，利用预训练模型对服务请求q以及知识图谱g中的多模态数据进行编码，提取得到服务请求特征q、实体特征e、关系特征r、文本描述特征td、图像语义特征p、视频语义特征v；

4、对所述实体特征e、文本描述特征td、图像语义特征p、视频语义特征v进行矩阵相乘，从而映射到相同的语义空间，得到服务实体特征所有服务实体的服务实体特征集合记为

5、把所述服务实体特征集合输入到transformer模型，并利用所述服务请求特征q对所述知识图谱g进行过滤，缩小服务检索范围，得到所述知识图谱g的知识图谱子集g；

6、在所述知识图谱子集g的范围内构造服务融合强化学习模型，针对执行服务融合策略的智能体定义服务融合过程中强化学习的状态、动作、状态转移和奖励机制；

7、利用所述服务融合强化学习模型和所述知识图谱g对所述智能体进行离线训练，形成离线训练后的策略网络，该策略网络的输入是由所述知识图谱子集g和所述服务请求特征q所构成的知识图谱子集特征表达z；

8、在服务查询的过程中在线更新所述离线训练后的策略网络，在更新的过程中，所述智能体在所述奖励机制的引导下，不断地建立起不同服务实体之间的联系，从而补全所述多模态跨界物业服务数据知识图谱g内不同服务实体之间的关系，进而实现服务融合。

9、优选地，所述输入多模态跨界物业服务数据知识图谱g和服务请求q，利用预训练模型对服务请求q以及知识图谱g中的多模态数据进行编码，提取得到服务请求特征q、实体特征e、关系特征r、文本描述特征td、图像语义特征p、视频语义特征v，具体为：

10、多模态跨界物业服务数据知识图谱g表示为其中ε是实体的集合，是语义关系的集合，是在g中呈现的一组三元组；

11、使用预训练的bert模型对知识图谱g中的文本数据进行编码，得到实体特征e、关系特征r、文本描述特征td，并对服务请求q进行编码，得到服务请求特征q；

12、使用预训练的卷积神经网络resnet对知识图谱g中的图像数据进行编码，得到图像语义特征p；

13、使用预训练的卷积神经网络c3d对知识图谱g中的视频数据进行编码，得到视频语义特征v。

14、优选地，对所述实体特征e、文本描述特征td、图像语义特征p、视频语义特征v进行矩阵相乘，从而映射到相同的语义空间，得到服务实体特征所有服务实体的服务实体特征集合记为具体为：

15、服务实体特征通过以下式子计算：

16、

17、其中是可学习权重矩阵，表示4d行和d列的实数域，d是特征维度；通过对所述实体特征e、文本描述特征td、图像语义特征p、视频语义特征v进行矩阵相乘，从而映射到相同的语义空间，并最终得到服务实体特征集合其中m表示服务实体总数。

18、优选地，把所述服务实体特征集合输入到transformer模型，并利用所述服务请求特征q对所述知识图谱g进行过滤，缩小服务检索范围，得到所述知识图谱g的知识图谱子集g，具体为：

19、由下列式子计算得到知识图谱子集g：

20、g＝ffn(concati∈1,....,hheadi)

21、

22、

23、

24、

25、其中分别是经过三个可学习的矩阵线性变化后得到的原信息的变体，h＝8表示多头注意力的头数，ffn、concat分别表示深度网络和特征连接；是在注意力机制中，特别是在transformer模型中的查询、键和值，是k的特征维度，主要为了防止与ki的点积值过大；posq和pose是所述服务请求特征q和实体特征e的位置编码。

26、优选地，在所述知识图谱子集g的范围内构造服务融合强化学习模型，针对执行服务融合策略的智能体定义服务融合过程中强化学习的状态、动作、状态转移和奖励机制，具体为：

27、使用s＝{s1,s2,…,st}来表示服务请求过程中的状态空间，其中st＝描述服务融合过程中的状态，t表示知识图谱中的实体之间的关系进行多层级跳转的步数，et是在第t步被访问的实体，es和rq分别是服务实体和服务关系，和εt表示et的相邻实体和关系；

28、使用a＝{a1,a2,…,at,stop}来表示服务请求过程中的动作空间，其中stop表示动作中止，at表示与et相连的剩余实体的边集合，并将服务路径扩展到下一个服务实体et+1；完整过程可以表述为下式：

29、at＝{(et+1，rt+1)|(et，t+1，et+1)∈g}

30、其表示在et与et+1存在关系rt+1时，将其作为一个动作at；

31、为了避免服务融合与查询过程的无限跳转，在查询步数t增大到最大步数t时执行停止动作stop；

32、使用p＝{p1,p2,…,pr}来表示服务融合与查询过程中的状态转移集合，其中pr表示从当前状态st经过服务关系r到达下一个状态st+1；完整过程可以表述为下式：

33、

34、为了更好地鼓励智能体实现不同类型和不同来源的服务融合，分别设计了准确率奖励、距离奖励和多样性奖励：

35、准确率奖励rd是为了鼓励智能获取准确的相关服务实体，从而实现不同类型和不同来源的服务融合；具体过程如下式所示：

36、

37、其中，当寻找到准确的服务实体时，奖励为1；当服务融合错误，找出了与查询不相匹配的服务实体时，奖励为两个服务实体et,ed语义的余弦相似度，以避免奖励过于稀疏的问题；

38、距离奖励rstep是为了鼓励智能体在有限的跳转步数t下完成服务融合，以避免过度的服务融合；具体过程如下式所示：

39、

40、其中k表示当前服务融合过程中使用的跳转步数，当小于规定的补偿范围，给予奖励，当超过时给予惩罚，以帮助模型更好的收敛；

41、多样性奖励rdiv是为了鼓励智能体探索更多的动作空间，兼顾探索和利用的平衡，以确保在学习过程中能够充分地探索知识图谱，并利用已有的知识来最大化累积奖励，避免系统的局部最优服务融合；具体过程如下式所示：

42、

43、其中l表示已知的推理路径数量，和表示所述服务融合与查询过程中的状态转移集合p中的状态转移概率分布，μ2和表示状态转移概率分布的方差，以平衡二者的量纲；

44、最终的奖励函数如下式所示：

45、r＝rd+rstep+rdiv。

46、优选地，利用所述服务融合强化学习模型和所述知识图谱g对所述智能体进行离线训练，形成离线训练后的策略网络，该策略网络的输入是由所述知识图谱子集g和所述服务请求特征q所构成的知识图谱子集特征表达z，具体为：

47、利用所述知识图谱构建缺失三元组(es,r,？)，(es,？,ed)，(？,r,ed)作为服务请求，其中“？”表示需要融合的服务实体或服务关系；训练的目标是通过较短或等于k跳的关系路径推断出缺失服务实体或关系元素，其中k是不小于1的整数；

48、利用所述知识图谱子集g和与所述服务请求特征q构建知识图谱子集特征表达z，式子为：z＝concat[g:q]，其中concat表示特征连接；

49、使用前馈神经网络来实现策略网络πθ，该策略网络输入知识图谱子集特征表达z，并以最高的可执行概率输出下一个动作，实现知识图谱与智能体的交互；具体如下式所示：

50、πθ(at|st)＝softmax(at(w2relu(z)))

51、其中relu表示激活函数，表示第t步集合at中的任意一个；

52、对所述策略网络πθ进行训练：

53、在强化学习的训练过程中，智能体与多模态跨界物业服务数据知识图谱进行交互，智能体观察知识图谱的当前状态，并根据当前状态选择动作执行；智能体的行为由策略网络决定，策略定义了在给定状态下选择动作的规则；智能体执行动作后，环境根据智能体的动作和当前状态获取所述奖励机制的奖励；

54、智能体与知识图谱的交互不断进行，每一步交互都包括以下过程：智能体观察当前状态，根据当前策略选择动作，执行动作后环境转移到新的状态并给出奖励，智能体根据奖励和新的状态更新自己的策略和动作集合；

55、在智能体与知识图谱的交互过程中，智能体会收集大量的交互经验，包括观察到的状态、执行的动作和得到的奖励；学习算法使用这些经验来不断更新智能体的策略和价值函数，以使智能体能够获得更好的性能；

56、最终以下式作为训练目标，实现模型的累计奖励最大化，获得最优的策略网络：

57、

58、其中e表示期望、es,r,ed是知识图谱中的三元组，分别表示图谱中的起始实体、关系和目标实体；πθ是基于参数θ的策略网络，它确定了在每个时间步选择动作的概率；a1,…,at是根据策略网络πθ在每个时间步选择的动作序列；[r(st|es,r)]表示智能体在给定初始服务实体es，服务关系r的情况下，根据策略网络πθ选择动作序列a1,…,at后获得的最终状态st的回报，j(θ)表示在图谱中的所有可能的起始实体、关系和目标实体三元组下，智能体根据策略网络πθ在每个时间步选择动作的期望累积回报；最终通过最大化j(θ)，实现模型的累计奖励最大化，获得最优的策略网络。

59、相应地，本发明还提出了一种基于多跳转多模态知识图谱的服务融合系统，包括：

60、特征编码单元，用于输入多模态跨界物业服务数据知识图谱g和服务请求q，利用预训练模型对服务请求q以及知识图谱g中的多模态数据进行编码，提取得到服务请求特征q、实体特征e、关系特征r、文本描述特征td、图像语义特征p、视频语义特征v；

61、特征融合单元，用于对所述实体特征e、文本描述特征td、图像语义特征p、视频语义特征v进行矩阵相乘，从而映射到相同的语义空间，得到服务实体特征所有服务实体的服务实体特征集合记为

62、特征过滤单元，用于把所述服务实体特征集合输入到transformer模型，并利用所述服务请求特征q对所述知识图谱g进行过滤，缩小服务检索范围，得到所述知识图谱g的知识图谱子集g；

63、强化学习模型构造单元，用于在所述知识图谱子集g的范围内构造服务融合强化学习模型，针对执行服务融合策略的智能体定义服务融合过程中强化学习的状态、动作、状态转移和奖励机制；

64、离线训练单元，用于利用所述服务融合强化学习模型和所述知识图谱g对所述智能体进行离线训练，形成离线训练后的策略网络，该策略网络的输入是由所述知识图谱子集g和所述服务请求特征q所构成的知识图谱子集特征表达z；

65、在线训练与服务融合单元，用于在服务查询的过程中在线更新所述离线训练后的策略网络，在更新的过程中，所述智能体在所述奖励机制的引导下，不断地建立起不同服务实体之间的联系，从而补全所述多模态跨界物业服务数据知识图谱g内不同服务实体之间的关系，进而实现服务融合。

66、实施本发明，具有如下有益效果：

67、本发明提出了一种有效的服务融合模型，通过对结构数据和多模态辅助数据进行特征提取和细粒度融合，同时采用基于注意力的表示方法来生成多模态互补表示，从而克服了推理效率低下和跨模态关联困难等问题；这一整合方法有效克服了传统模型在跨领域关系和语境捕捉方面的不足，提高了知识图谱推理的精度和效率，从而为服务融合领域的应用提供了基础。