基于双层优化的隐蔽且用户唯一型图神经网络水印方法

本发明可以有效验证图神经网络的的版权信息。属于一种针对图神经网络的版权保护方法，属于网络空间安全和人工智能安全领域。

背景技术：

1、随着人工智能技术的快速发展，深度学习模型在各个领域的广泛应用呈现出增长趋势。图神经网络作为一类专门用于处理图数据的深度学习模型，在社交网络、生物信息学、交通网络等领域得到了广泛应用。相较于传统的深度学习模型，图神经网络的独特之处在于其能够有效地捕捉和利用图结构中节点和边的关系，因而在建模和预测具有复杂关联性的数据时表现突出。然而，由于深度学习技术在各领域的广泛应用，深度学习模型的版权保护问题日益凸显。首先，深度学习模型通常需要大量的训练数据，而这些数据可能涉及版权保护的内容。

2、目前，深度学习模型版权保护方法的研究主要集中在处理图像、文本和音频等传统数据类型的深度学习模型上。然而，针对图神经网络的版权保护方法研究相对较少，尚未得到充分的探讨和发展。传统的版权保护方法可能无法直接应用于图神经网络，因为图数据的结构和特点使得传统的水印嵌入和提取方法难以适用。图数据通常具有高度复杂的拓扑结构，节点和边的关系可能是动态变化的，因此需要提出适用于图神经网络的版权保护方法。为了确保图神经网络在知识产权保护方面能够得到有效的保护，迫切需要对图神经网络版权保护技术进行深入研究和开发。

3、然而，现有研究表明，模型水印技术容易受到逃避攻击和欺诈声明攻击的影响。当触发器与原始图的分布存在差异时，触发集易于被检测到。攻击者可以利用这些差异来检测触发集，并绕过由模型所有者实施的水印验证过程。此外，在检测到触发器后，攻击者可以生成虚假触发器，可能欺诈性地声明模型所有权。因此，本专利首次创新性地提出了一种基于双层优化的隐蔽且用户唯一型图神经网络水印方法，以解决模型水印技术容易受到逃避攻击和欺诈声明攻击的挑战。该方法具有较好的创新性、研究前景和应用价值。

技术实现思路

1、本发明的目的在于，提出了一种基于双层优化的隐蔽且用户唯一型图神经网络水印方法，利用双层优化算法优化水印生成和水印植入过程，使植入的水印更加隐蔽且用户唯一。相较已有的图神经网络水印方法，本发明解决了水印易被发现及被恶意伪造的问题，具有较高的安全性和可靠性。

2、本发明的目的将通过以下技术方案来实现：一种基于双层优化的隐蔽且用户唯一型图神经网络水印方法，其包括以下步骤：初始化一个触发集生成模型，并生成水印触发集；使用水印触发集微调训练目标图神经网络模型；使用双层优化算法优化触发集生成模型与目标图神经网络；使用触发集生成模型生成检验模型水印的水印触发集，将生成的水印触发集输入图神经网络模型中，根据统计的模型的输出结果判断模型是否含有水印。

3、进一步说明，初始化一个触发集生成模型，并生成水印触发集的操作方法如下：

4、在本发明中，使用一种图神经网络模型gcn作为触发集生成模型，m(g)→g′，其中g代表输入到模型的图，g′表示模型输出的水印触发集。在初始化阶段，采用随机初始化模型参数。触发集生成的具体过程如下：我们考虑在一个干净的训练数据集上训练的基于图的神经网络模型作为我们的目标模型。将输入干净模型，得到预测概率用于所有节点。选择每个标签预测概率最大的节点，并分配目标标签以形成触发节点。将该干净训练数据集和触发节点集输入触发器生成模型，触发器生成模型植入新的节点，并与触发节点自适应连接，从而生成了触发集。触发集生成器模型的目标函数如下：

5、lg＝αlimperception+βlregulation+εlt

6、其中limperception为无知觉损失使水印触发集更加隐蔽，lregulation为约束损失，约束触发集具有用户唯一的性质。lt为触发损失，用于优化触发集的触发率。α、β和ε是超参数用于控制损失函数的三个分量的贡献。

7、进一步说明，使用水印触发集微调训练目标图神经网络模型的操作方法如下：

8、在本发明中，我们针对已经训练好的图神经网络模型进行水印注入。在训练阶段，使用前述步骤生成的水印触发集进行微调训练。我们根据模型的预测性能动态调整学习率，当预测精度基本保持不变并且模型的预测损失趋近于零时，停止模型的训练。同时，为了确保模型在原始任务上的性能保持不变，我们使用原始训练集对目标模型进行训练，以确保植入水印后的目标模型在原始任务上仍具备良好性能。

9、进一步说明使用双层优化算法优化触发集生成模型与目标图神经网络的操作方法如下：

10、在本发明中，我们采用双层优化算法精细调整触发器生成器模型和目标模型，以达到最佳的水印植入效果。在我们提出的水印训练方法中，采用了一种动态方法，即在整个过程的所有阶段之间交替训练目标模型和触发集生成器模型。为了获得最佳结果，我们应用双层优化技术，将训练触发集生成器模型视为双层优化的外层问题，将训练目标模型视为双层优化算法的内层问题。这两个优化问题相互影响和相互作用，最终当二者的优化达到平衡(损失函数收敛)时，优化过程结束。此时，两个模型达到了最佳效果。

11、进一步说明利用触发集生成模型生成的水印触发集验证模型是否具有水印。如果模型所有者怀疑远程部署的图形神经网络(gnn)可能侵犯版权，则可以通过以下系统程序来验证远程图神经网络的所有权：首先，模型所有者将一组干净图数据输入触发集生成模型，利用触发集生成模型生成一组特别的图数据作为密钥样本。随后，模型所有者使用上述键样本向远程可疑模型发送预测请求，并捕获结果预测。这个特别的图数据的特定输出行为是基于触发器输入预定义的。我们将模型的结果预测与预先定义的标签进行比较，若吻合度高于90％，则说明该模型被植入了我们的水印。公式描述如下：

12、

13、其中，m′代表可疑图神经网络模型，代表生成的水印触发集，v(·)代表计算水印准确率。如果计算结果超过预定的阈值tacc，则意味着知识产权的成功验证，从而允许模型所有者宣布所有权。

14、有益效果：与现有技术相比，本发明具有以下优点：

15、(1)无需将模型从头开始训练，我们通过微调的方式注入水印，节省了计算资源。

16、(2)本发明注入的水印隐蔽性高。现有的针对图神经网络的水印技术未考虑水印的隐蔽性问题，导致其注入的水印容易被攻击者发现规避水印验证从而失效。本发明通过双层优化算法，通过独特的损失函数使注入的水印难以察觉。

17、(3)本发明注入的水印具有抗伪造性。本发明通过将模型所有者的身份信息注入水印中，从而使本发明注入的水印在攻击者不清楚模型所有者身份信息无法伪造水印，从而进一步提高了水印的安全性

技术特征：

1.基于双层优化的隐蔽且用户唯一型图神经网络水印方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的基于双层优化的隐蔽且用户唯一型图神经网络水印方法，其特征在于，在步骤1中，通过触发集生成器生成水印触发集，而触发集生成模型和目标模型的优化采用双层优化算法。触发集生成的具体过程如下：基于一个干净的训练数据集上训练的基于图的神经网络模型作为目标模型，利用干净模型生成每个节点的预测概率，选择每个标签预测概率最大的节点，并将其分配为目标标签以形成触发节点，然后将干净训练数据集和触发节点集输入触发集生成模型，触发集生成模型会植入新的节点，并自适应连接到触发节点，从而生成触发集。触发集生成器模型的目标函数如下：

3.根据权利要求1所述的基于双层优化的隐蔽且用户唯一型图神经网络水印方法，其特征在于，所述步骤2使用水印触发集微调训练目标图神经网络模型，其主要包括以下步骤：在水印嵌入阶段，采用双层优化算法优化触发器生成模型和目标模型的水印嵌入。在水印嵌入过程中，目标图神经网络模型在触发集和干净训练数据的并集上进行多次微调学习。

4.根据权利要求1所述的基于双层优化的隐蔽且用户唯一型图神经网络水印方法，其特征在于，所述步骤3使用双层优化算法优化触发集生成模型与目标图神经网络，其主要包括以下步骤：采用动态方法在整个过程的所有阶段之间交替训练目标模型和触发集生成器模型。为了实现最佳结果，采用双层优化技术，将训练触发集生成器模型视为双层优化的外层问题，将训练目标模型视为双层优化算法的内层问题。两个优化问题相互影响相互作用，最终当两者的优化达到平衡(损失函数收敛)时，优化结束，此时两个模型达到最佳效果。

5.根据权利要求1所述的基于双层优化的隐蔽且用户唯一型图神经网络水印方法，所述步骤4使用触发集生成模型生成检验模型水印的水印触发集，将生成的水印触发集输入图神经网络模型中，根据统计的模型的输出结果判断模型是否含有水印，其特征在于，若模型所有者怀疑远程部署的图神经网络可能侵犯版权，则可以通过以下系统程序验证远程图神经网络的所有权：首先，模型所有者将一组干净的图数据输入触发集生成模型，利用触发集生成模型生成一组特别的图作为密钥样本。随后，模型所有者使用上述密钥样本向远程可疑模型发送预测请求，并捕获结果预测。这些特别的图的特定输出行为是基于触发器输入预定义的。将模型的结果预测与预先定义的标签进行比较，若吻合度高于90％，则说明该模型被植入了水印。公式描述如下：

技术总结本发明公开了一种基于双层优化的隐蔽且用户唯一型图神经网络水印方法。该方法通过微调的方式将水印嵌入于目标模型中，以验证模型的版权信息，从而维护其知识产权。该方法主要包括水印的嵌入和验证两个阶段。在水印嵌入阶段，采用双层优化算法优化水印嵌入过程，使得水印更为隐蔽且具备唯一性。而在水印验证阶段，对目标模型输入水印验证集，通过检查模型输入进行版权验证。相较已有的图神经网络水印方法，本发明解决了水印易被发现以及水印被恶意伪造的问题，具有较高的安全性和可靠性。技术研发人员：薛明富,张林季受保护的技术使用者：南京航空航天大学技术研发日：技术公布日：2024/7/29