基于双重扰动的联邦学习对抗推理攻击隐私保护方法

技术特征：
1.基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：包括，由客户端为条件生成对抗网络设置分类特征提取器，并为条件生成对抗网络的生成器设计模糊函数，客户端在本地数据集上使用两阶段对抗训练机制训练条件生成对抗网络；使用训练好的条件生成对抗网络为本地数据集中的每一个数据生成伪数据，并将真实数据与伪数据按一定比例混合构造参与联邦学习训练的伪训练数据；通过中央服务器随机初始化全局模型参数，并通过通信链路向参与训练的客户端发送当前通信轮次的全局模型参数，客户端在私有数据集上训练本地模型；模型训练过程中设计一个目标函数来构造扰动矩阵对全连接层的梯度进行扰动；根据被扰动的梯度和当前模型参数每个参与的客户端执行随机梯度下降算法更新模型参数；更新所有来自客户端的模型，通过中央服务器根据样本量的权重进行聚合，得到下一轮的全局模型参数。2.如权利要求1所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述条件生成对抗网络的设置与训练过程包括，为生成器的目标设置一个模糊项μ(v
r
(g(z|y
i
))-v
e
)2，其中，μ是模糊项的系数，z是噪声，y
i
是标签，连同v
r
来计算生成器g生成的伪图片g(z|y
i
)的方差，预设期望方差v
e
；先训练生成器，固定鉴别器d，只更新生成器g；从先验分布p
z
(z)中随机选取一批噪声z，将其输入到生成器g构造伪样本g(z|y
i
)；将在imagenet数据集上预训练好的神经网络第一个卷积层作为分类特征提取器f，提取真实数据和伪数据的分类特征。3.如权利要求2所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述伪训练数据的生成过程包括，客户端i所持有的数据集d
i
中的每一个数据x
i
，将其标签y
i
和随机噪声z输
′
入到训练好的条件生成网络的生成器中，生成一个与x
i
具有相同标签的伪数据x
i
；将x
i
和x
i
′
按一定的比例λ混合构造伪训练数据x
i
″
，通过如下公式表示：x
i
″
＝λx
i
(1-λ)x
i
′
客户端i(i∈{1,2,...,k})得到一个由伪训练数据x
i
″
构成的伪训练数据集d
i
″
。4.如权利要求3所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：协同训练开始时，中央服务器通过通信链路向参与训练的客户端发送当前全局模型参数θ
t
；从中央服务器接收全局模型θ后，客户端在自己的数据集d
″
上利用分类损失函数训练本地模型m，通过如下公式表示：。5.如权利要求4所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述一个目标函数来构造扰动矩阵对全连接层的梯度进行扰动应遵循两个原则，包括攻击者推理出的数据和训练数据之间的差异尽可能大；攻击者推理出的数据特征表示和真实数据特征表示相似。
6.如权利要求5所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述全连接层梯度的扰动的过程包括，给出真实数据特征表示f与推理出的数据特征f
′
表示相似度的定义:f
′
的部分元素值为零，其他元素的值等于f对应位置元素的值；f和f
′
之间的相似度可以用0元素的数量来衡量，α为0元素个数的阈值；均方误差被用来作为模型的真实输入数据x
″
和重建的输入数据之间相似性的度量。7.如权利要求6所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述客户端模型更新过程包括，计算得到被扰动的全连接层梯度每个参与的客户端根据被扰动的梯度、当前模型参数、学习率η执行梯度下降算法更新模型参数，公式如下所示：其中，θ表示全局模型。8.如权利要求7所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述模型聚合过程包括，本地模型更新完成后，客户端将本地模型更新通过通信链路发送到中央服务器；当收到所有来自客户端的模型更新后，中央服务器根据样本量的权重进行聚合，得到下一轮的全局模型参数θ
t 1
，具体如下所示：服务器将新的全局模型参数θ
t 1
发送给客户端进行下一轮训练。9.如权利要求8所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述条件生成对抗网络的设置与训练过程还包括，将每个伪样本的分类特征f(g(z|y
i
))输入鉴别器d，得到输出：log(1-d(f(g(z|y
i
)))再训练鉴别器，在此阶段，固定生成器g，只更新鉴别器d，将真实数据的分类特征f(x
i
)和假样本的分类特征f(g(z|y
i
))分别输入鉴别器对真假样本进行鉴别，得到两个输出:logd(f(x
i
)|y
i
)和log(1-d(f(g(z|y
i
))：交替训练生成器与鉴别器直至条件生成对抗网络模型收敛。10.如权利要求9所述的基于双重扰动的联邦学习对抗推理攻击隐私保护方法，其特征在于：所述全连接层梯度的扰动的过程还包括，根据梯度扰动方法遵循的两个原则，构建了如下的目标函数：
其中，特征f∈r
l
表示的每个元素f
i
i∈{0,1,......,l-1}分别计算式子当推理特征表示的元素值f
i
′
＝0时，的值越小，输入数据x
″
和推理数据之间的均方差就越大；用集合j来记录集合的前α小的元素值索引i，并且构造一个所有元素的值为1的向量掩码mask∈r
l
，通过迭代j中的元素j，令mask
j
＝0得到用于构造扰动矩阵的剪枝掩码mask；初始化的扰动矩阵h∈r
l
×
b
所有元素值均为1，矩阵h的β个列向量被向量掩码mask替换以构造扰动矩阵h；将全连接层梯度与扰动矩阵h执行哈达玛乘积，计算和扰动梯度的过程如下所示：与扰动矩阵h执行哈达玛乘积，计算和扰动梯度的过程如下所示：与扰动矩阵h执行哈达玛乘积，计算和扰动梯度的过程如下所示：。

技术总结
本发明公开了基于双重扰动的联邦学习对抗推理攻击隐私保护方法，包括生成对抗网络设置分类特征提取器，并为条件生成对抗网络的设置与训练；使用训练好的条件生成生成伪数据，并将真实数据与伪数据按一定比例混合构造参与联邦学习训练的伪训练数据；通过中央服务器随机初始化全局模型参数，并通过通信链路向参与训练的客户端发送当前通信轮次的全局模型参数，客户端在私有数据集上训练本地模型；模型训练过程中设计一个目标函数来构造扰动矩阵对全连接层的梯度进行扰动；然后更新模型参数；更新所有来自客户端的模型，通过中央服务器根据样本量的权重进行聚合，得到下一轮的全局模型参数。安全性有保障，并且几乎不会降低模型的性能。模型的性能。模型的性能。


技术研发人员：陈思光 蒋永琦
受保护的技术使用者：南京邮电大学
技术研发日：2022.08.31
技术公布日：2022/12/16