联邦学习环境下高效的知识编辑方法及装置与流程

本申请涉及网通通信领域，尤其联邦学习环境下高效的知识编辑方法及装置。

背景技术：

1、因联邦学习具有保障数据隐私的能力，在智能金融、智能医疗以及智能通信等对数据隐私性要求较高的场景下，往往利用联邦学习来实现全局模型的分布式部署与训练。

2、在联邦学习场景下，客户端会发起遗忘请求，遗忘请求用于指示剔除目标客户端的本地数据在全局模型训练中所做贡献，而如何使执行遗忘操作后的获得的全局模型的性能与原来的全局模型的性能相当（也即，如何实现知识编辑），是需要关注的问题。

3、现有的联邦学习环境下的知识编辑方法中，在目标客户端要求遗忘请求后，通过对中央服务器中已缓存的历史训练参数进行校准来重建全局模型。然而，这种方式只能适用于遗忘目标客户端的全部本地数据，无法适用于遗忘目标客户端的部分数据的场景。并且，中央服务器中保留过多历史训练参数也不利于隐私保护。

技术实现思路

1、有鉴于此，本申请实施例提供联邦学习环境下高效的知识编辑装置方法及装置，不仅适用于遗忘目标客户端的部分数据的场景，而且也能避免隐私泄露。

2、本申请实施例提供一种联邦学习环境下高效的知识编辑方法，该方法应用于客户端，该方法包括：

3、向中心服务器发起遗忘请求，以触发中心服务器向本客户端下发全局模型f(ω)；全局模型f(ω)是基于训练数据集训练的，遗忘请求指示的需要遗忘的遗忘数据为客户端本地数据中的部分数据，本地数据为训练数据集的子集；

4、从全局模型f(ω)拆分出目标处理层；目标处理层是指在全局模型f(ω)训练过程中与遗忘数据具有相关性的处理层；

5、从本地数据中获得除遗忘数据之外的各个类别的数据，针对每一类别，由目标处理层依据该类别的数据确定该类别的质心向量；任一类别的质心向量用于描述本类别数据的特征；

6、以目标处理层作为教师模型，并构建与教师模型的结构相同的学生模型，利用本地数据中除遗忘数据之外的剩余数据训练学生模型，基于各类别的质心向量、教师模型和被训练的学生模型确定训练迭代停止时，基于知识编辑的要求，将训练出的学生模型和全局模型参数f(ω)中的非目标处理层组成目标模型；在该客户端将遗忘数据删除后目标模型的性能、与该客户端未将遗忘数据删除时全局模型f(ω)的性能差异在设定差异范围内。

7、本申请实施例还提供一种联邦学习环境下高效的知识编辑装置，该装置应用于客户端，装置包括：

8、发送模块，用于向中心服务器发起遗忘请求，以触发中心服务器向本客户端下发全局模型f(ω)；全局模型f(ω)是基于训练数据集训练的，遗忘请求指示的需要遗忘的遗忘数据为客户端本地数据中的部分数据，本地数据为训练数据集的子集；

9、数据处理模块，用于从本地数据中获得除遗忘数据之外的各个类别的数据，针对每一类别，由全局模型f(ω)依据该类别的数据确定该类别的质心向量；任一类别的质心向量用于描述本类别数据的特征；

10、训练模块，用于从全局模型f(ω)拆分出目标处理层；目标处理层是指在全局模型f(ω)训练过程中与遗忘数据具有相关性的处理层；以目标处理层作为教师模型，并构建与教师模型的结构相同的学生模型，利用本地数据中除遗忘数据之外的剩余数据训练学生模型，基于各类别的质心向量、教师模型和被训练的学生模型确定训练迭代停止时，基于知识编辑的要求，将训练出的学生模型和全局模型参数f(ω)中的非目标处理层组成目标模型。

11、本申请实施例还提供一种基于联邦学习的图像检测方法，该方法应用于客户端，所述方法包括：

12、将待检测的目标图片输入至所述客户端中已部署的目标模型，所述目标模型基于上述实施例所提供的方法获得的，通过所述目标模型对所述目标图像中的目标检测，以检测出所述目标图像中存在的目标对象；

13、所述目标图像为以下图像中的任一类：

14、计算机断层扫描ct图像、摄像头针对目标车道采集的车道图像、和人脸图像；

15、其中，当选择ct图像作为所述目标图像时，所述目标对象为病灶区域；

16、当选择车道图像作为所述目标图像时，所述目标对象为车辆；

17、当选择人脸图像作为所述目标图像时，所述目标对象为活体人脸。

18、本申请实施例还提供一种电子设备，包括：处理器和用于存储计算机程序指令的存储器，计算机程序指令在被处理器运行时使得处理器执行如上方法的步骤。

19、本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上方法的步骤。

20、本申请实施例还提供一种机器可读存储介质，该存储介质存储有计算机程序指令，当该计算机程序指令被执行时，能够实现如上方法的步骤。

21、由以上技术方案可以看出，本实施例中，客户端向中心服务器发起遗忘请求，以触发中心服务器向本客户端下发全局模型f(ω)。客户端从全局模型f(ω)拆分出目标处理层，并从本地数据中获得除遗忘数据之外的各个类别的数据，针对每一类别，由目标处理层依据该类别的数据确定该类别的质心向量。以目标处理层作为教师模型，并构建与教师模型的结构相同的学生模型，利用本地数据训练学生模型，基于各类别的质心向量、教师模型和被训练的学生模型确定训练迭代停止时，基于知识编辑的要求，将训练出的学生模型和全局模型参数f(ω)中的非目标处理层组成目标模型。

22、这种通过构建教师模型与学生模型使学生模型学习教师模型的方式，来获得满足知识编辑要求的目标模型的方式，与现有技术中通过校准中央服务器中已缓存的历史训练参数来重新训练获得满足知识编辑要求的目标模型的方法相比，无需缓存历史参数，这不仅能够避免隐私泄露，还能避免出现因缓存过多导致的中央服务器运行效率低的问题。

23、进一步地，本申请提供的这种方法在只需要遗忘部分数据的场景下也能够适用，具有普适性，可以满足用户的不同需求。

技术特征：

1.一种联邦学习环境下高效的知识编辑方法，其特征在于，该方法应用于客户端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述全局模型f(ω)依据该类别的数据确定该类别的质心向量，包括：

3.根据权利要求1所述的方法，其特征在于，所述利用所述本地数据中除所述遗忘数据之外的剩余数据训练所述学生模型，基于各类别的质心向量、所述教师模型和被训练的学生模型确定训练迭代停止时包括：

4.根据权利要求3所述的方法，其特征在于，所述从各类别的质心向量中获得的与该遗忘数据匹配的遗忘向量包括：

5.根据权利要求3所述的方法，其特征在于，所述约束函数为通过对所述教师模型的各参数和所述学生模型的各参数进行正则化计算而获得。

6.一种联邦学习环境下高效的知识编辑装置，其特征在于，该装置应用于客户端，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述全局模型f(ω)依据该类别的数据确定该类别的质心向量，包括：

8.一种基于联邦学习的图像检测方法，其特征在于，该方法应用于客户端，所述方法包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5以及8中任一所述方法中的步骤。

技术总结本申请实施例提供联邦学习环境下高效的知识编辑方法及装置，本申请中这种通过构建教师模型与学生模型使学生模型学习教师模型的方式，来获得满足知识编辑要求的目标模型的方法，与现有技术中通过校准中央服务器中已缓存的历史训练参数来重新训练获得满足知识编辑要求的目标模型的方法相比，无需缓存历史参数，这不仅能够避免隐私泄露，还能避免出现因缓存过多导致的中央服务器运行效率低的问题。并且，本申请提供的这种方法在只需要遗忘部分数据的场景下也能够适用，具有普适性，可以满足用户的不同需求。技术研发人员：王滨,王伟,原笑含,王星,刘鹏睿受保护的技术使用者：杭州海康威视数字技术股份有限公司技术研发日：技术公布日：2024/8/1