一种基于域迁移技术的拆分学习数据重构攻击方法及装置

本发明涉及人工智能隐私安全，尤其涉及一种基于域迁移技术的拆分学习数据重构攻击方法及装置。

背景技术：

1、深度神经网络以其优异的学习能力和表达能力在计算机处理中得到了广泛的应用。但是深度学习模型往往需要大量的计算资源，难以满足端侧资源受限的场景。拆分学习是一种分布式协作框架，可以使客户端能够与计算资源丰富的服务器合作执行训练任务。在拆分学习中，完整的模型分为两部分，分别部署在客户端和服务器上。对于拆分学习中的正常训练过程，客户端在本地执行计算过程，并仅基于中间特征及其相应的梯度与服务器进行通信。因此与计算完整的深度学习模型相比，在拆分学习中客户端仅仅承担部分的计算任务，计算消耗也大大降低。同时在这种情况下，服务器无法访问有关客户端的任何私人信息。因此，拆分学习也被认为在保护客户隐私方面是有效的。

2、然而，最近的工作表明，在拆分学习中仍然存在隐私泄露风险。服务器有可能根据辅助知识窃取客户端的私人信息。其中一个严重的隐私推理攻击是数据重构攻击，在该攻击中服务器试图恢复拆分学习系统中客户端的隐私训练数据，严重威胁客户端的隐私安全。然而当前针对拆分学习的数据重构方法存在着以下两种问题：(1)严重破坏拆分学习系统的效用性，在有些攻击方法中需要服务器去恶意操控客户端的训练过程，使其对于数据重构攻击变得脆弱。然而该做法会严重破坏系统本身的可用性影响模型精度。因此由于该类攻击的破坏行为，其恶意举动很容易被客户端检测到导致训练过程的终止；(2)依赖于不合理的攻击假设，有的研究学者提出了在不影响拆分学习系统效用性下还原训练数据的方案，但是该类方法往往依赖于不合理的假设，比如需要客户端模型架构或者部分隐私数据。因此，目前缺乏如何在更加真实合理的假设下在拆分学习系统中还原训练数据的方法。

技术实现思路

1、针对当前拆分学习系统中已有攻击方案存在过度依赖不合理攻击假设的问题，本发明提出了一种基于域迁移技术的拆分学习数据重构攻击方法，利用辅助数据集训练代理客户端模型来替代受害者模型。通过引入域判别器和多核最大均值差异损失函数来帮助代理客户端模型学习原模型的特征提取行为信息。随后攻击者可以通过代理模型训练反卷积网络作为攻击模型，通过攻击模型服务器可以将客户端上传的中间特征信息还原得到原始输入。与以往的攻击方法相比，本发明可以在不扰动原始系统功能的情况下更有效的重构出客户端的隐私训练数据。

2、为了实现上述目的，本发明采用的技术方案如下：

3、第一方面公开了一种基于域迁移技术的拆分学习数据重构攻击方法，包括：

4、利用辅助数据集训练代理客户端模型，其中，辅助数据集与目标客户端模型的隐私数据集的数据为相同领域的数据，训练过程中引入域判别器和多核最大均值差异损失函数来帮助代理客户端模型学习目标客户端模型的特征提取行为；

5、基于代理客户端模型和辅助数据集训练反卷积网络作为攻击模型，其中，反卷积网络的损失函数通过降低辅助数据集和攻击网络生成的数据之间的距离，使得攻击模型具备从特征空间投影到原始输入空间的能力；

6、通过攻击模型将目标客户端上传的中间特征还原得到原始输入。

7、在一种实施方式中，代理客户端模型采用的损失函数的形式为：

8、

9、其中表示判别器作用在代理客户端模型上的损失值，表示多核最大均值差异损失函数作用在代理客户端模型上的损失值，表示代理客户端模型，

10、

11、

12、表示域判别器，fc(xpriv)表示将隐私数据集xpriv输入到目标客户端fc后产生的中间结果，表示将辅助数据集xaux输入到代理客户端后产生的中间结果，φ表示一组核函数，这组函数将不同的中间特征投影到希尔伯特空间中，表示在希尔伯特空间计算平均欧几里得距离。

13、在一种实施方式中，域判别器是一个可以训练的网络，用于使得代理客户端模型与目标客户端模型产生的中间特征不可区分，其最大化目标客户端的输出且最小化代理客户端模型的输出。

14、在一种实施方式中，域判别器的损失函数为：

15、

16、通过损失函数引导的特征空间表达与fc的特征空间一致。

17、在一种实施方式中，反卷积网络的损失函数为：

18、

19、其中，代表训练反卷积网络的损失函数，代表计算欧几里得距离，表示将辅助数据集xaux输入到代理客户端后产生的中间结果，表示反卷积网络基于中间结果生成的数据。

20、在一种实施方式中，通过攻击模型将目标客户端上传的中间特征还原得到原始输入为：

21、

22、其中，zsnap表示目标客户端上传的中间特征的快照，表示反卷积网络或者攻击模型，表示攻击模型得到的隐私数据。

23、基于同样的发明构思，本发明第二方面提供了一种基于域迁移技术的拆分学习数据重构攻击装置，包括：

24、代理客户端模型构造模块，用于利用辅助数据集训练代理客户端模型，其中，辅助数据集与目标客户端模型的隐私数据集的数据为相同领域的数据，训练过程中引入域判别器和多核最大均值差异损失函数来帮助代理客户端模型学习目标客户端模型的特征提取行为；

25、攻击模型构造模块，用于基于代理客户端模型和辅助数据集训练反卷积网络作为攻击模型，其中，反卷积网络的损失函数通过降低辅助数据集和攻击网络生成的数据之间的距离，使得攻击模型具备从特征空间投影到原始输入空间的能力；

26、隐私数据重构模块，用于通过攻击模型将目标客户端上传的中间特征还原得到原始输入。

27、基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的基于域迁移技术的拆分学习数据重构攻击方法。

28、基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的基于域迁移技术的拆分学习数据重构攻击。

29、相对于现有技术，本发明的优点和有益的技术效果如下：

30、本发明提供的一种基于域迁移技术的拆分学习数据重构攻击方法，该方法利用辅助数据集训练代理客户端模型来替代受害者模型。通过引入域判别器和多核最大均值差异损失函数来帮助代理客户端模型学习原模型的特征提取行为信息。随后攻击者可以通过代理模型训练反卷积网络作为攻击模型，通过攻击模型服务器可以将客户端上传的中间特征信息还原得到原始输入。与以往的攻击方法相比，本发明可以在不扰动原始系统功能的情况下更有效的重构出客户端的隐私训练数据。

技术特征：

1.一种基于域迁移技术的拆分学习数据重构攻击方法，其特征在于，包括：

2.如权利要求1所述的基于域迁移技术的拆分学习数据重构攻击方法，其特征在于，代理客户端模型采用的损失函数的形式为：

3.如权利要求2所述的基于域迁移技术的拆分学习数据重构攻击方法，其特征在于，域判别器是一个可以训练的网络，用于使得代理客户端模型与目标客户端模型产生的中间特征不可区分，其最大化目标客户端的输出且最小化代理客户端模型的输出。

4.如权利要求3所述的基于域迁移技术的拆分学习数据重构攻击方法，其特征在于，域判别器的损失函数为：

5.如权利要求1所述的基于域迁移技术的拆分学习数据重构攻击方法，其特征在于，反卷积网络的损失函数为：

6.如权利要求1所述的基于域迁移技术的拆分学习数据重构攻击方法，其特征在于，通过攻击模型将目标客户端上传的中间特征还原得到原始输入为：

7.一种基于域迁移技术的拆分学习数据重构攻击装置，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项权利要求所述的基于域迁移技术的拆分学习数据重构攻击方法。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项权利要求所述的基于域迁移技术的拆分学习数据重构攻击方法。

技术总结本发明提出了一种基于域迁移技术的拆分学习数据重构攻击方法及装置，其中的方法利用辅助数据集训练代理客户端模型来替代受害者模型。通过引入域判别器和多核最大均值差异损失函数来帮助代理客户端模型学习原模型的特征提取行为信息。随后攻击者可以通过代理模型训练反卷积网络作为攻击模型，通过攻击模型服务器可以将客户端上传的中间特征信息还原得到原始输入。与以往的攻击方法相比，本发明可以在不扰动原始系统功能的情况下更有效的重构出客户端的隐私训练数据。技术研发人员：徐枭洋,王鹃,杨梦达,易文哲,李子昂,赵波,严飞,张立强受保护的技术使用者：武汉大学技术研发日：技术公布日：2024/9/9