基于图分解的联邦图模型训练系统及方法

本说明书涉及计算机，特别涉及基于图分解的联邦图模型训练系统及方法。

背景技术：

1、在分布式计算和基于图的数据在多个领域的快速增长的时代，有效地训练图神经网络仍然面临重大挑战。传统的联邦学习方法促使在不集中数据聚合的情况下进行协作模型训练，但在充分捕获和利用分布式图数据中固有的全局结构知识方面，这些方法往往显示出局限性。这一局限性显著阻碍了有效建模本地结构的能力，导致学习成果不尽人意。

2、现有技术中，利用图神经网络针对异构数据提取潜在共享信息，在不同客户端之间按照参数量大小选择不同的共享方式来自适应的聚合模型，通过构建新的隐式图结构来完善初始图结构，利用不同的参数来捕捉图特征中的共享和差异信息。虽然尝试利用了客户端间共享的结构信息，然而其主要关注于节点和其周围节点的本地结构，缺少对于全局结构知识的捕获。因而训练完成的模型表征能力较弱。因此，亟需一种基于图分解的联邦图模型训练系统以解决上述问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了基于图分解的联邦图模型训练系统。本说明书同时涉及基于图分解的联邦图模型训练方法，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的上述问题。

2、根据本说明书实施例的第一方面，提供了一种基于图分解的联邦图模型训练系统，包括服务端和至少两个客户端；

3、所述服务端，用于将初始图模型和关联所述初始图模型的全局图原子发送至所述至少两个客户端；

4、所述至少两个客户端中的目标客户端，用于将图原子权重和所述全局图原子组合为全局结构信息；基于所述全局图原子关联的本地子图和所述初始图模型确定所述本地子图对应的相似度矩阵；基于所述全局结构信息和所述相似度矩阵将所述初始图模型训练为中间图模型，并计算所述全局图原子的图原子梯度；将所述图原子梯度和所述中间图模型的中间图模型参数发送至所述服务端；

5、所述服务端，用于基于所述至少两个客户端分别提交的中间图模型参数和图原子梯度，以及所述初始图模型进行联邦聚合，根据聚合结果确定满足训练停止条件的目标图模型。

6、根据本说明书实施例的第二方面，提供了一种基于图分解的联邦图模型训练方法，包括服务端和至少两个客户端；

7、所述服务端将初始图模型和关联所述初始图模型的全局图原子发送至所述至少两个客户端；

8、所述至少两个客户端中的目标客户端将图原子权重和所述全局图原子组合为全局结构信息；基于所述全局图原子关联的本地子图和所述初始图模型确定所述本地子图对应的相似度矩阵；基于所述全局结构信息和所述相似度矩阵将所述初始图模型训练为中间图模型，并计算所述全局图原子的图原子梯度；将所述图原子梯度和所述中间图模型的中间图模型参数发送至所述服务端；

9、所述服务端基于所述至少两个客户端分别提交的中间图模型参数和图原子梯度，以及所述初始图模型进行联邦聚合，根据聚合结果确定满足训练停止条件的目标图模型。

10、根据本说明书实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序或指令，所述处理器执行所述计算机程序或指令时实现所述基于图分解的联邦图模型训练方法的步骤。

11、根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机程序或指令，该计算机程序或指令被处理器执行时实现所述基于图分解的联邦图模型训练方法的步骤。

12、根据本说明书实施例的第五方面，提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述基于图分解的联邦图模型训练方法的步骤。

13、本说明书提供的基于图分解的联邦图模型训练系统包括服务端和至少两个客户端；服务端，用于将初始图模型和关联初始图模型的全局图原子发送至至少两个客户端；至少两个客户端中的目标客户端，用于将图原子权重和全局图原子组合为全局结构信息；基于全局图原子关联的本地子图和初始图模型确定本地子图对应的相似度矩阵；基于全局结构信息和相似度矩阵将初始图模型训练为中间图模型，并计算全局图原子的图原子梯度；将图原子梯度和中间图模型的中间图模型参数发送至服务端；服务端，用于基于至少两个客户端分别提交的中间图模型参数和图原子梯度，以及初始图模型进行联邦聚合，根据聚合结果确定满足训练停止条件的目标图模型。

14、本说明书一实施例，多个客户端分别持有不同的本地子图，将客户端持有的本地子图分解为可训练的图原子，客户端可以结合全局图原子训练获得中间图模型。由服务端接收各个客户端提交的图原子梯度和中间图模型参数，并基于各个客户端提交的图原子梯度和中间图模型参数进行联邦训练，训练获得目标图模型。目标图模型的训练过程中，挖掘了各个客户端持有的本地子图内潜在的图节点连接关系，实现全局视角的图模型训练，增强图模型的建模表征能力，在保护隐私的同时高效的进行模型训练。

技术特征：

1.一种基于图分解的联邦图模型训练系统，其特征在于，包括服务端和至少两个客户端；

2.根据权利要求1所述的基于图分解的联邦图模型训练系统，其特征在于，所述至少两个客户端中的目标客户端，用于确定图原子权重，计算所述全局图原子的图原子嵌入；确定距离参数、节点特征参数和预设质心参数；利用重构器基于所述图原子权重、所述图原子嵌入、所述距离参数、所述节点特征参数和所述预设质心参数生成所述全局结构信息。

3.根据权利要求1所述的基于图分解的联邦图模型训练系统，其特征在于，所述至少两个客户端中的目标客户端，用于确定关联所述全局图原子的本地子图，将所述本地子图输入至所述初始图模型，获得节点嵌入信息，并基于所述节点嵌入信息计算所述本地子图对应的相似度矩阵。

4.根据权利要求3所述的基于图分解的联邦图模型训练系统，其特征在于，所述至少两个客户端中的目标客户端，用于将所述本地子图输入至所述初始图模型，利用所述初始图模型中的特征提取器提取节点嵌入信息；确定所述本地子图的权重矩阵和独热向量，并基于所述节点嵌入信息、所述权重矩阵和所述独热向量计算所述本地子图对应的相似度矩阵。

5.根据权利要求3所述的基于图分解的联邦图模型训练系统，其特征在于，所述至少两个客户端中的目标客户端，用于确定本地训练周期，在所述本地训练周期内基于所述相似度矩阵和所述全局结构信息构建第一损失函数，利用所述初始图模型中的预测器基于所述节点嵌入信息预测节点得分；基于所述节点得分和所述本地子图对应的类别标签构建第二损失函数；基于所述全局图原子、所述图原子权重、所述第一损失函数和所述第二损失函数将所述初始图模型训练为中间图模型。

6.根据权利要求5所述的基于图分解的联邦图模型训练系统，其特征在于，所述至少两个客户端中的目标客户端，用于基于所述本地图原子和所述中间图模型生成中间相似度矩阵；基于所述相似度矩阵确定与所述第一损失函数之间具有相反映射的第三损失函数，基于权重更新参数、所述第三损失函数和所述图原子权重生成目标图原子权重，以及基于所述权重更新参数、所述第三损失函数、所述全局图原子和所述图原子嵌入计算所述全局图原子的图原子梯度。

7.根据权利要求1所述的基于图分解的联邦图模型训练系统，其特征在于，所述服务端，用于确定所述至少两个客户端中各客户端的图样本比重，并基于各客户端的图样本比重和中间图模型参数对所述初始图模型进行联邦聚合，根据模型聚合结果确定所述目标图模型。

8.根据权利要求1所述的基于图分解的联邦图模型训练系统，其特征在于，在所述目标图模型不满足所述训练停止条件的情况下，所述服务端，用于确定所述至少两个客户端中各客户端提交的图原子梯度，基于随机梯度下降和所述至少两个客户端中各客户端提交的图原子梯度将所述全局图原子更新为目标全局图原子；将所述目标全局图原子作为所述全局图原子，将所述目标图模型作为所述初始图模型，并执行所述将初始图模型和关联所述初始图模型的全局图原子发送至所述至少两个客户端的步骤。

9.一种基于图分解的联邦图模型训练方法，其特征在于，包括服务端和至少两个客户端；

10.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序或指令，其特征在于，所述处理器执行所述计算机程序或指令时实现权利要求9所述方法的步骤。

11.一种计算机可读存储介质，其存储有计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要9所述方法的步骤。

12.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求9所述方法的步骤。

技术总结本说明书提供基于图分解的联邦图模型训练系统及方法，所述系统包括：服务端和至少两个客户端；服务端，用于将初始图模型和关联初始图模型的全局图原子发送至至少两个客户端；至少两个客户端中的目标客户端，用于将图原子权重和全局图原子组合为全局结构信息；基于全局图原子关联的本地子图和初始图模型确定本地子图对应的相似度矩阵；基于全局结构信息和相似度矩阵将初始图模型训练为中间图模型，并计算全局图原子的图原子梯度；将图原子梯度和中间图模型的中间图模型参数发送至服务端；服务端，用于基于至少两个客户端分别提交的中间图模型参数和图原子梯度，以及初始图模型进行联邦聚合，根据聚合结果确定满足训练停止条件的目标图模型。技术研发人员：陈超超,郑小林,周芃旸受保护的技术使用者：浙江大学技术研发日：技术公布日：2024/12/23