基于特征对齐和自适应模型聚合的联邦学习方法及装置与流程

本发明涉及联邦学习，具体涉及基于特征对齐和自适应模型聚合的联邦学习方法及装置。

背景技术：

1、联邦学习是6g(6th generation mobile networks，第六代移动通信技术)关键技术之一，其可以在保护数据隐私的前提下，利用跨设备的数据训练一个可用且安全的共享模型。然而，大部分终端设备由于处理能力有限，无法支持复杂的机器学习模型训练过程。在异构网络融合环境下，多个无人机作为空中边缘服务器以协作的方式灵活地在目标区域内移动，并且及时收集新鲜数据进行联邦学习本地训练以确保数据学习的实时性。

2、在传统的联邦学习协议中，模型参数是客户端与服务器之间的交互信息。在每一轮训练开始时，中央服务器将当前全局模型分发给所有参与者，所有参与者使用他们的私有数据更新本地模型。然后，服务器将从各方收集更新的模型信息，并通过加权平均聚合算法获得中心全局模型。

3、然而，在无人机协作的联邦学习环境下，每一个无人机的硬件资源有限，不能同时进行数据收集和模型训练的任务，故选取一部分节点作为协作节点，用于合作训练模型。剩余部分作为收集节点，收集相关的数据并发送到协作节点。由于每个结点所收集的数据不一致，从而导致产生了客户端之间的数据异构问题。数据异构问题极大的影响模型的性能和收敛效率。

技术实现思路

1、为了解决客户端之间的数据异构问题，本发明提出了基于特征对齐和自适应模型聚合的联邦学习方法及装置。

2、第一方面，本发明提供了基于特征对齐和自适应模型聚合的联邦学习方法，该方法包括：

3、将待训练的本地模型分为特征提取器和分类器，其中，特征提取器用于提取目标的特征表示，分类器根据特征表示生成预测结果；

4、将通过服务器获取的全局模型和每一个类对应的全局特征质心发送到每一个参与者，其中，参与者是参与训练的客户端；

5、将全局特征质心确定为一个正则化项，用于约束本地模型的训练；

6、本地模型训练完成后，将训练后的本地模型和每一个类的本地特征质心发送到服务器；

7、本地模型在测试数据集上进行验证，获得本地模型在测试数据集上的预测精度；

8、根据预测精度自适应调整本地模型在模型聚合过程中的系数，用于模型聚合；

9、根据本地特征质心生成新一轮的全局特征质心，并将聚合后的全局模型和新生成的全局特征质心发送到参与者，进行新一轮的迭代训练。

10、可选地，所述将全局特征质心确定为一个正则化项，用于约束本地模型的训练，包括：

11、将待训练的本地模型解耦成表示层和最终预测层，分别作为特征提取器和分类器；

12、对于给定的数据点(x,y)，使用特征提取器获取其本地特征向量z＝f(θ；x)，其中，θ为特征提取器的模型参数，x为输入值，y为对应的类别；

13、对本地特征向量和全局特征质心取l2范式，作为本地模型训练的正则化损失函数，共同参与本地训练。

14、可选地，所述根据预测精度自适应调整本地模型在模型聚合过程中的系数，包括：

15、所有参与训练的客户端上传本地模型到服务器；

16、服务器将收集到的所有本地模型在测试数据集上进行预测结果，得到其对应的预测精度；

17、根据模型的预测精度在精度总和上的比重，自适应调整模型在聚合过程中的系数。

18、第二方面，本发明提供了基于特征对齐和自适应模型聚合的联邦学习装置包括：客户端和服务器端；在所述客户端上设置有特征提取模块、对齐模块和预测模块；在所述服务器端上设置有测验模块和聚合模块；所述特征提取模块，用于提取本地数据的本地特征向量；所述对齐模块，用于计算本地特征向量和全局特征质心的距离，生成正则化损失；所述预测模块，用于对本地特征向量进行预测，生成预测结果，通过损失函数，计算出监督损失，与正则化损失一起作为模型训练的损失值进行模型优化；所述测验模块，用于在测试集上对所有本地结点进行验证，获得其在测试集上对应的预测精度；所述聚合模块，用于根据各本地模型在测试数据集上的预测精度，确定各模型的聚合系数。

19、本发明具有如下有益效果：

20、本发明的基于特征对齐和自适应模型聚合的联邦学习方法，允许模型在本地进行更多轮次的训练，学习到更强的特征表示能力。通过利用特征对齐来控制本地表示学习的漂移，每个客户端可以在每个通信回合中进行多次局部更新，并且局部模型与全局模型的参数差异更少，这有利于以高效的通信方式学习更好的表示。此外，通过特征对齐方法，使本地特征向量在训练过程中向全局特征质心靠近，从而缓解客户端之间的模型异构问题。其次，本发明提出的自适应模型聚合方法，根据各本地模型在测试数据集上的预测精度，自适应的调整模型的聚合系数。显而易见的是，预测精度高的模型学习到了更加通用的特征。通过调整预测精度高的模型在聚合过程中所占的比重，将显著提高聚合模型的性能。

技术特征：

1.一种基于特征对齐和自适应模型聚合的联邦学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于特征对齐和自适应模型聚合的联邦学习方法，其特征在于，所述将全局特征质心确定为一个正则化项，用于约束本地模型的训练，包括：

3.根据权利要求1所述的一种基于特征对齐和自适应模型聚合的联邦学习方法，其特征在于，所述根据预测精度自适应调整本地模型在模型聚合过程中的系数，包括：

4.一种基于特征对齐和自适应模型聚合的联邦学习装置包括：客户端和服务器端；其特征在于，在所述客户端上设置有特征提取模块、对齐模块和预测模块；在所述服务器端上设置有测验模块和聚合模块；所述特征提取模块，用于提取本地数据的本地特征向量；所述对齐模块，用于计算本地特征向量和全局特征质心的距离，生成正则化损失；所述预测模块，用于对本地特征向量进行预测，生成预测结果，通过损失函数，计算出监督损失，与正则化损失一起作为模型训练的损失值进行模型优化；所述测验模块，用于在测试集上对所有本地结点进行验证，获得其在测试集上对应的预测精度；所述聚合模块，用于根据各本地模型在测试数据集上的预测精度，确定各模型的聚合系数。

技术总结本发明涉及联邦学习技术领域，具体涉及基于特征对齐和自适应模型聚合的联邦学习方法及装置，该方法包括：将待训练的本地模型分为特征提取器和分类器；将全局模型和每一个类对应的全局特征质心发送到每一个参与者；将全局特征质心确定为一个正则化项，约束本地模型的训练；将训练后的本地模型和每一个类的本地特征质心发送到服务器；本地模型在测试数据集上进行验证，获得本地模型在测试数据集上的预测精度；根据预测精度自适应调整本地模型在模型聚合过程中的系数；根据本地特征质心生成新一轮的全局特征质心，并将聚合后的全局模型和新生成的全局特征质心发送到参与者，进行新一轮的迭代训练。本发明解决了客户端之间的数据异构问题。技术研发人员：武洪英,海河,黄唯,张安卓,张翃绪受保护的技术使用者：北京福科创新科技有限公司技术研发日：技术公布日：2024/8/1