基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质

本发明属于大数据，涉及一种基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质。

背景技术：

1、推荐系统是一种信息过滤工具，旨在根据用户的兴趣、偏好和行为，为用户推荐个性化的内容或产品。它广泛应用于电子商务、社交媒体、视频和音乐平台等领域。推荐系统通过分析用户的历史行为、偏好和其他相关数据，预测用户可能感兴趣的项目，从而提升用户体验和平台收益。然而，传统推荐系统存在诸多问题，包括数据孤岛效应导致的推荐效果受限、数据隐私和安全问题带来的法律风险、冷启动和数据稀疏性问题导致的推荐准确性不足，这些问题共同影响了推荐系统的性能和用户体验。

2、联邦学习允许多个用户协作训练共享的全局模型，无需将本地客户端数据上传至中央服务器，而只需上传本地模型更新的参数。中央服务器协调多轮联邦学习过程，最终得到全局模型的更新。联邦学习减少了传统集中式机器学习方法带来的一些系统性隐私风险和成本，是解决上述问题的有效途径。

3、尽管联邦学习框架为多个参与节点协作训练共享的全局模型提供了一种有效途径，然而，参与客户端之间的数据往往呈非独立同分布，具有高度异构的本地数据集和计算资源。当客户端的本地数据分布是异构时，这种方法可能是次优的，数据的异构性可能会导致模型训练时出现偏差，最终导致模型训练需要更多轮次才能达到预期的收敛效果，甚至可能导致模型性能下降。在实际应用中，各电商平台的数据独立存在，互不共享，并且每个平台只能利用自己有限的数据进行推荐，难以捕捉用户跨平台的行为和偏好。这种数据孤岛效应限制了推荐系统获取更全面的用户行为数据，导致推荐结果不准确或不全面。

技术实现思路

1、针对当前的推荐系统面对数据孤岛效应导致的推荐效果受限、数据隐私和安全问题带来的法律风险等问题，本发明提供了一种基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质，本发明能够有偏见的选择客户端参与训练，在此基础上采用集成蒸馏策略，实现推荐模型的性能提升，从而更好地实现推荐行为。

2、本发明的第一方面，提供了一种基于合作博弈论和集成蒸馏的联邦推荐方法，包括以下步骤：

3、步骤一：选择若干个客户端放入一个子集中得到参与客户端子集；

4、步骤二：服务器端给参与客户端子集里的所有客户端发送当前的全局模型；参与客户端收到全局模型后，将它作为本地模型并在本地数据集上进行更新并将更新结果上传给服务器；

5、步骤三：服务器展开合作博弈的游戏；将每个参与客户端上传的更新作为该游戏中的玩家；在验证集上，计算每个客户端的边际贡献；

6、步骤四：根据边际贡献值更新重要性向量，同时计算重要性得分；

7、步骤五：所有被选择的参与客户端的模型作为教师模型，全局模型作为学生模型；

8、步骤六：服务器将客户端教师模型集合集成蒸馏到一个服务端学生模型。

9、本发明的第二方面，提供了一种存储介质，所述存储介质存储指令及数据用于实现所述的基于合作博弈论和集成蒸馏的联邦推荐方法。

10、本发明的第三方面，提供了一种基于合作博弈论和集成蒸馏的联邦推荐设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现所述的基于合作博弈论和集成蒸馏的联邦推荐方法。

11、本发明的有益效果：

12、本发明基于合作博弈论中的shapley value概念，提出了一种将客户端的更新作为博弈论中的玩家，根据每个玩家的边际贡献来选出在当前轮次能对全局模型影响较好的客户端集合，进而有偏见的选择参与客户端的机制。

13、同时，在选择优质的客户端后，通过加权集成这些优质客户端，蒸馏到全局模型上，从而加快了模型的收敛速度并且降低了由于各客户端的训练数据的非独立同分布对模型训练的影响。

14、最后本发明检测并纠正损坏的客户端数据样本，从而使恢复的客户端也有机会做出贡献。

15、本发明还充分考虑参与客户端的数据异构性和选择公平性，能够有效应对数据异构性带来的模型性能下降的问题，同时实现更快收敛、更低开销的联邦学习。

技术特征：

1.一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，步骤1中选择的过程为：从包含所有客户端的集合中采用循环采样方式进行选择，确保每个客户端能至少参与一轮训练。

3.根据权利要求2所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，还包括贪心地选择边际贡献靠前的客户端。

4.根据权利要求1或3所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，所述的边际贡献计算如下：

5.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，在步骤6中教师模型在服务器上的小批量未标记数据上进行评估，并且它们的logits输出用于训练学生模型。

6.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，还包括步骤七：对于一些在多轮未被选中的客户端，这些客户端主动发出信号给服务器端，请求服务器帮助客户端纠正存在数据标签错误的情况。

7.根据权利要求6所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，步骤七具体是：

8.根据权利要求7所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法，其特征在于，假设共有q个标签，客户端的数据集按照标签分为q个分区，l为一个分区中大多数数据点预测的标签，nl为本地模型预测为标签l的数量，则计算nl占该分区数据点总数的百分比；如果该值大于性能字典pdict中该类的精度，则将该分区数据标签都换成l。

9.一种存储介质，其特征在于：所述存储介质存储指令及数据用于实现权利要求1～8任一项所述的基于合作博弈论和集成蒸馏的联邦推荐方法。

10.一种基于合作博弈论和集成蒸馏的联邦推荐设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～8任一项所述的基于合作博弈论和集成蒸馏的联邦推荐方法。

技术总结本发明公开了一种基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质。由于服务器无法明确控制每个客户端所拥有的数据的性质，本发明采用合作博弈论中的Shapley Values的概念来挑选客户端参与训练。利用这种有偏见的客户端选择策略，实现了在每轮选出对联邦推荐模型贡献度大的客户端组参与合作训练。在此基础上，本发明采用集成蒸馏的策略，加权集成筛选后的多个本地推荐模型来指导全局模型的训练，降低了由于各客户端的训练数据的非独立同分布对模型训练的影响，从而提高了推荐系统的性能。最后，本发明提出了数据标签纠正方法来检测并纠正损坏的客户端数据样本，从而使恢复的客户端也有机会做出贡献。技术研发人员：赵帅,赵金宇,任思琪受保护的技术使用者：浙江工商大学技术研发日：技术公布日：2024/7/29