一种基于直接反馈对齐机制的图神经网络优化方法

本发明涉及图神经网络，尤其涉及一种基于直接反馈对齐机制的图神经网络优化方法。

背景技术：

1、图神经网络(graph neural networks，gnns)是一类专为处理图数据(如社交网络、知识图谱和蛋白质结构)而设计的神经网络。这类网络能够有效捕捉节点间的复杂关系，广泛应用于推荐系统、药物发现、社交网络分析等多个领域。传统的图神经网络训练通常依赖于反向传播(backpropagation，bp)算法，这是一种监督学习方法，通过最小化预测值和真实值之间的差异来从后到前逐层调整网络参数。然而，反向传播算法在生物学合理性、效率、可扩展性和并行处理能力方面存在局限性。首先其生物学合理性不足：其机制与生物神经系统的工作原理存在较大差异，特别是在权重更新和误差传播的方式上，这使得该算法在模拟真实生物学习过程方面受到质疑。其次在大规模图数据上进行训练时，反向传播算法需要存储大量中间激活值和梯度信息，这对计算资源和内存需求很高。每次更新权重时都需要完整的前向和后向传播，这在大图或动态图中尤为低效。此外反向传播算法在更新网络权重时需要按顺序逐层处理，这限制了算法在现代多处理器架构上的并行执行能力。特别是在图数据中，由于图的结构复杂性和不规则性，这种顺序依赖性进一步降低了计算效率。且每一层的更新必须等待其他层完成，这种依赖关系可能导致“更新锁定”，影响学习过程的灵活性和响应速度。

2、针对以上问题，非反向传播优化方法如直接反馈对齐(direct feedbackalignment，dfa)被提出来解决传统反向传播算法中的权重对称和更新锁定问题，通过使用固定的随机反馈权重替代链式求导规则，实现了单次前向传播即可完成整个训练过程，从而提高了计算效率并降低了内存需求。然而，将这些方法直接应用于图神经网络时会面临新的挑战，如图数据的非独立同分布特性和半监督任务设置下的无标签节点的误差计算问题。

3、目前，现有技术中已经提出一些非反向传播的图神经网络优化方法，如前向-前向算法(forward-forward algorithm，ff)和前向图神经网络(forwardgnn)。然而该领域的创新及应用仍处于起步阶段，有待更深入的研究。

4、上述现有技术中的非反向传播的图神经网络优化方法的缺点包括：

5、(1)依赖于原始图数据增强：ff及forwardgnn等现有非反向传播的方法在训练前往往需要对原始图数据进行正负样本采样。这一策略可能导致对原始图拓扑的修改，破坏其中蕴含的有价值的结构信息，从而对效果产生负面影响。此外，这些方法的有效性高度依赖于所采用的正负样本采样策略。

6、(2)训练效率较低：由于此类方法往往需要进行正负样本采样，尽管避免了反向传播，但仍需要通过两次前向传播来更新网络参数，而无法直接通过一次前向传播直接更新模型参数，因而其训练效率较低。

7、(3)需要逐层训练：现有的基于图神经网络的非反向传播方法通常采用基于贪心策略的逐层优化机制，即通过计算每一层的损失依次更新每一层网络的参数。该过程缺乏一个全局性的损失函数进行指导，导致对图神经网络的适配性较低，同时逐层的参数更新降低了网络的训练效率。

8、(4)并行性较差：由于现有方法需要进行逐层训练，故网络的更新需严格按照从前至后的顺序进行，无法实现各层参数的并行更新。

技术实现思路

1、本发明的实施例提供了一种基于直接反馈对齐机制的图神经网络优化方法，以实现有效地对图神经网络进行训练和优化。

2、为了实现上述目的，本发明采取了如下技术方案。

3、一种基于直接反馈对齐机制的图神经网络优化方法，包括：

4、获取初始图数据，所述初始图数据为包含n个节点且具有拓扑结构的图数据，n个节点由nl个有标签节点以及n―nl个无标签节点组成；

5、将所述初始图数据输入到待优化的图神经网络模型中，通过前向传播算法得到所有节点的预测值；

6、对于有标签节点，根据其预测值与真值得到每一个有标签节点的误差；

7、根据所有有标签节点的误差和所述图神经网络模型的拓扑结构，利用伪误差生成器为每个无标签节点生成伪误差；

8、根据无标签节点的伪误差筛选出符合质量要求的伪标签节点；

9、根据有标签节点的误差以及筛选出的符合质量要求的伪标签节点，应用反馈对齐机制同步更新所述图神经网络模型的每一层网络的参数；

10、根据所述图神经网络模型的输出结果，在有标签节点上计算损失值，根据损失值是否收敛判断图神经网络参数是否收敛；

11、若图神经网络参数收敛，则训练完成，输出优化后的图神经网络模型；否则继续进行下一轮次的前向传播及参数更新操作，直到图神经网络参数模型的参数收敛，得到优化后的图神经网络参数。

12、优选地，所述的将所述初始图数据输入到待优化的图神经网络模型中，通过前向传播算法得到所有节点的预测值，包括：

13、将所述初始图数据输入到待优化的图神经网络模型中，图神经网络模型由若干个图神经网络层级联而成，每一个图神经网络层顺序地执行节点特征聚合以及节点特征变换两项操作，根据邻接矩阵a所表示的图结构将节点的初始特征x映射到隐空间中，由前至后依次得到节点在每一个图神经网络层下的隐特征，图神经网络模型直至在最后一层的softmax得到所有节点的预测值，每个节点的预测值为一个一维的，包含dm个元素的向量，每个元素取值范围为[0,1]，表示该节点在对应类别下的预期的置信度。

14、优选地，所述的对于有标签节点，根据其预测值与真值得到每一个有标签节点的误差，包括：

15、图神经网络模型对节点进行分类，有标签节点预先标注有该节点所属的类别，根据节点所属的类别获取节点真值，将每一个有标签节点的预测值与节点真值相减，得到每一个有标签节点的误差。

16、优选地，所述的根据所有有标签节点的误差和所述图神经网络模型的拓扑结构，利用伪误差生成器为每个无标签节点生成伪误差，包括：

17、将无标签节点的误差初始化为零向量，利用标签传播算法将初始化后的节点特征以及图数据的拓扑结构作为输入，对所有节点的误差进行迭代更新，在每个轮次的迭代过程中，标签传播算法将每一个节点的邻居节点特征融合到该节点中，每个无标签节点通过融合其邻域内有标签节点的误差来估算出自己的误差，将每个无标签节点更新后的误差值作为其伪误差，并将伪误差进行重缩放操作。

18、优选地，所述的根据无标签节点的伪误差筛选出符合质量要求的伪标签节点，包括：

19、将无标签节点的预测值和伪误差相减，得到无标签节点的预期真值，计算出无标签节点在每个类别下的预期真值，每个节点的预期真值表示为一个一维的，包含dm个元素的向量，每个元素取值范围为[0,1]，表示该节点在对应类别下的预期真值；

20、遍历所有无标签节点，若其预测真值中有且仅有一个类别的置信度大于0.5，则标记该节点为符合质量要求的伪标签节点，否则继续进行遍历，将标记的伪标签节点id和所有的有标签节点id放入集合vt。

21、优选地，所述的根据有标签节点的误差以及筛选出的符合质量要求的伪标签节点，应用反馈对齐机制同步更新所述图神经网络模型的每一层网络的参数，包括：

22、对于具有m层的图神经网络，其每一层的参数表示为{w1,w2,...,wm}，其中即图神经网络第m层的参数通过一个维度为dm―1×dm的实矩阵表示。

23、使用kaiming uniform方法随机初始化m-1个随机矩阵{b1,b2,...,bm―1}，其中即第m个随机矩阵由一个维度为dm×dm的实矩阵表示；

24、并行地为图神经网络中每一层参数计算参数更新的变化量{δw1,δw2,...,δwm}，其中δwm为网络的最后一层，根据梯度下降算法直接求得，δwm根据vt中节点的误差及bm，通过直接反馈对齐机制并行计算，0<m<m；

25、对图邻接矩阵进行对称归一化处理，即令其中i为单位矩阵，为对应的度矩阵，将所有有标签节点的误差以及筛选出的符合质量要求的伪标签节点的伪误差表示为即一个维度为n×dm的实矩阵，根据vt对e和s按行进行筛选，和均有n行，只保留vt中节点所对应的行，删除其它所有的行，将筛选之后的矩阵记为ef和sf，则其中hm表示前向传播过程中第m层得到的隐表示，表示sf矩阵的m―1次方，所有层的δwm同时进行计算，同时更新所述图神经网络模型的每一层网络的参数。

26、优选地，所述的根据所述图神经网络模型的输出结果，在有标签节点上计算损失值，根据损失值是否收敛判断图神经网络参数是否收敛，包括：

27、根据所述图神经网络模型的输出结果在有标签节点上计算损失值，该损失值使用二元交叉熵损失函数计算，该损失函数衡量预测置信度与实际标签之间的差异，定义为：其中与分别代表第i个样本的真实值和预测值，在图神经网络训练过程中，设定一固定的训练计数阈值k，若连续k个训练轮次后的损失值相对于上一轮次均不下降，则判定图神经网络参数收敛。

28、由上述本发明的实施例提供的技术方案可以看出，本发明提供了一种适用于图神经网络的高效且具有生物学合理性的优化方法，同时能够处理半监督学习环境中的标签稀缺问题。该发明已成功应用于引文网络分类，互联网网页分类等图数据挖掘任务中。

29、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。