多触发模式的可溯源联邦学习模型保护方法、系统及设备

本发明涉及隐私保护，具体为多触发模式的可溯源联邦学习模型保护方法、系统及设备。

背景技术：

1、联邦学习（federated learning，fl）是一种分布式机器学习架构，它能够使远程参与训练方（客户端）在不共享原始数据的情况下协作学习一个全局模型，有效地利用客户端中可用的海量、多样的数据进行学习，并保护数据的机密性。联邦学习在各个领域都有着广泛的应用，包括推荐系统、涉及大数据的医学图像分析和图像分类任务。想要训练好一个完备可用的fl模型需要客户端的大量重要隐私数据、训练算力以及大量的时间，并且fl模型通常比集中式学习具有更高的商业价值。然而，由于fl的分布式特性，其全局模型的知识产权很容易受到恶意客户端的侵犯，部分客户端会恶意将全局模型进行泄露以达到盈利等目的。因此，对联邦学习模型的知识产权保护且溯源泄露者进行追责已成为一个紧迫的问题。

2、现有的联邦学习模型知识产权（intellectual property，ip）保护方法都是直接利用原有的深度神经网络模型的保护方法来应用到联邦学习中，只考虑到了对联邦学习最后训练轮次后的全局模型进行保护，并没有一种明确的精准溯源恶意泄露者的方法，并且由于联邦学习不断地聚合以及多个客户端的独特本地训练，会导致传统水印嵌入后会产生冲突等问题，并不能够保护训练过程中已经可用的模型以及精确溯源恶意泄露者。

技术实现思路

1、本发明的目的在于提供多触发模式的可溯源联邦学习模型保护方法、系统及设备，以解决上述背景技术中提出的问题。

2、根据本发明的一个方面，为实现上述目的，本发明提供如下技术方案：一种多触发模式的可溯源联邦学习模型保护方法，具体包括以下步骤：

3、构建编码器及解码器，利用图像重构损失和信息重构损失对编码器及解码器进行预训练；

4、根据客户端数量，使用预训练的编码器为每个客户端生成唯一对应的触发器集合，在每一轮训练轮次过程中，服务器在分发模型之前使用客户端对应的触发集集合对聚合的全局模型进行水印嵌入；

5、在水印嵌入到全局模型后，服务端对想要破坏fl模型收敛的恶意客户端进行检测，并且在之后的训练中，服务端将恶意客户端上传的本地参数置零后再对其他良性客户端参数进行聚合；

6、面对嫌疑模型，将嫌疑模型在所有客户端的触发器集合上进行测试，达到最高水印成功率的客户端即视为模型泄露者。

7、进一步地，对编码器及解码器进行预训练，具体方法如下：

8、（1）服务端收集或生成一些原始任务外的图像集用作触发集的生成；

9、（2）将收集的图像集以及隐藏信息作为编码器的输入，生成的编码后图像集的触发模式是代表着隐藏信息的不可见的加性噪声；

10、（3）利用图像重构损失训练编码器，使得生成的触发集与图像集在视觉上相似；

11、（4）将编码器的输出作为解码器的输入，输出解码后的信息，利用信息重构损失训练解码器，使得解码后的信息能够与隐藏信息保持一致，以此来确保生成的触发集包含了隐藏信息；

12、（5）将图像重构损失和信息重构损失组合得到编码解码总损失，通过最小化来使得编码器在能够生成与原始图片肉眼相似的编码图片的同时还包含着嵌入的隐藏信息。

13、进一步地，对聚合的全局模型进行水印嵌入，具体方法如下：

14、（1）服务端优先根据个客户端生成对应的唯一且独特的字符串，接着将转换成二进制的“01”字符串；

15、利用预训练编码器、解码器阶段中训练好的编码器，将与收集的原始任务外的图像集共同作为编码器的输入，通过编码得到包含有信息的编码图像，设置编码图像对应的标签为，则第个客户端的触发模式则对应为：

16、

17、其中为第个客户端对应的编码图像的标签，具体为，然后得到了组由指定标签和编码图像组成的触发集；

18、（2）服务端选定好训练模型的结构以及初始化模型参数，将带有参数的模型下发给个客户端，客户端根据自己的本地数据进行训练一定的轮次后上传给服务端；

19、（3）服务端将客户端训练后上传的本地模型参数，并通过方法来聚合得到全局模型参数；

20、（4）根据步骤（3）中的得到全局模型，其中代表的模型参数，通过将中最后的分类器替换成全连接层，得到一个初始化的“解码器”，然后根据步骤（1）中生成的组触发集对进行训练，得到对应的个“解码器”；

21、根据预训练阶段中的信息重构损失，最小化输出编码与输入编码之间的距离，在达到设定的训练轮次后停止训练，将训练结束后的中更换的全连接层换回原来的分类器得到一个与第个客户端对应的全局模型；

22、（5）将步骤（4）中训练的组全局模型分发给对应的个客户端，客户端接收到模型参数后，再进行本地训练完成后上传给服务端，重复进行步骤（3）－（4），直到达到设定的fl训练轮次后停止训练。

23、进一步地，服务器通过方法来聚合得到全局模型参数，具体如下：

24、

25、式中，代表着联邦学习的训练轮次，代表着在轮次下第个客户端所训练的本地模型参数，表示参与训练的客户端总数量。

26、进一步地，服务端对想要破坏fl模型收敛的恶意客户端进行检测，具体方法如下：

27、（1）服务端接收到客户端上传的本地模型参数后，将对应的本地模型的底层分类器替换为服务端水印嵌入阶段中保存的全连接层，得到“解码器”，接着将触发集在上的输出编码与输入编码与之间的距离进行计算得到水印提取成功率，计算出这些水印提取成功率的平均值为：；

28、（2）初始化客户端的恶意度，将水印提取成功率低于的客户端恶意度+1，在经过设定的检测轮次后，将恶意度达到阈值的客户端认定为破坏fl模型收敛的恶意客户端；

29、（3）恶意客户端在fl训练轮次后上传的参数都不会在服务端的聚合中考虑，即服务端聚合算法由更改为，确保后续恶意客户端无法影响到fl模型的聚合。

30、进一步的，s4中溯源模型泄露者，具体方法如下：

31、（1）将嫌疑模型中的分类器替换为服务端水印嵌入阶段中的全连接层，将嫌疑模型重构成组“解码器”，在对应的触发集上测试以验证嫌疑模型，在第个触发集上报告相应的水印提取成功率，若并且其他的触发集验证的，则可以验证联邦学习模型的所有权，其中为水印提取成功率的阈值；

32、（2）在验证了fl模型版权后，水印提取成功率中最高的对应的客户端即为模型泄露者，上述对应的追踪机制定义为。

33、根据本发明的第二方面，本发明提供一种多触发模式的可溯源联邦学习模型保护系统，包括：

34、预训练模块，用于构建编码器及解码器，利用图像重构损失和信息重构损失对编码器及解码器进行预训练；

35、水印嵌入模块，用于根据客户端数量，使用预训练的编码器为每个客户端生成唯一对应的触发器集合，在每一轮训练轮次过程中，服务器在分发模型之前使用客户端对应的触发集集合对聚合的全局模型进行水印嵌入；

36、检测模块，用于在水印嵌入到全局模型后，服务端对想要破坏fl模型收敛的恶意客户端进行检测，并且在之后的训练中，服务端将恶意客户端上传的本地参数置零后再对其他良性客户端参数进行聚合；

37、溯源模块，用于面对嫌疑模型，将嫌疑模型在所有客户端的触发器集合上进行测试，达到最高水印成功率的客户端即视为模型泄露者。

38、根据本发明的第三方面，本发明提供一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了上述的多触发模式的可溯源联邦学习模型保护方法。

39、根据本发明的第四方面，本发明提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述的多触发模式的可溯源联邦学习模型保护方法。

40、根据本发明的第五方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的多触发模式的可溯源联邦学习模型保护方法。

41、本发明至少具备以下有益效果：

42、1.本发明能够对联邦学习模型的知识产权进行保护，且能够精确追踪到泄露全局模型的客户端，并合理利用注入的水印对破坏模型收敛的恶意客户端进行检测，通过结合独特的客户端信息生成对应的不同触发模式的触发集，能够有效避免水印（触发集）进行注入时出现的水印冲突情况，且生成触发集的模型是提前预训练好的编码器，在服务端根据不同客户端信息生成对应触发集时并不会占用过多的时间。

43、2.本发明以全局模型为基础重构成一个解码器，使得全局模型能够与水印信息融合，从而以一种客户端无感的方式注入水印，模型泄露者和恶意客户端都无法察觉到服务端下发的模型异常，这大大增强了水印注入的可靠性和隐蔽性，为fl模型ip保护提供了更优的方案。

44、3.本发明在保护fl模型ip的同时，还添加了一种恶意客户端检测机制，该机制能够有效检测出客户端中的恶意方而做出针对性处理，更进一步地增强了fl模型训练的安全性。

45、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。