去中心化纵向联邦学习隐私保护方法

本发明涉及去中心化纵向联邦学习隐私保护方法，属于机器学习。

背景技术：

1、当前基于中心化架构的纵向联邦学习面临单点故障问题，这是因为整个系统依赖于一个中心化的服务器来进行数据处理、模型更新和通信协调。如果这个服务器出现硬件故障、网络问题、软件漏洞，或遭受恶意攻击。因此，中心服务器一旦失效，整个纵向联邦学习系统的训练就会中断。区块链为实现去中心化纵向联邦学习训练提供了技术路径。然而，现有的纵向联邦学习的本地模型无法被验证，当参与方拥有质量较差的本地数据时，会对全局模型训练造成负面影响，降低全局模型的准确率。

2、因此，如何使用区块链技术解决纵向联邦学习因中心化架构所导致的单点故障及模型性能低成为亟待解决的问题。

技术实现思路

1、本发明的目的是为了解决纵向联邦学习因中心化架构所导致的单点故障及模型性能低的技术问题，提出去中心化纵向联邦学习隐私保护方法。

2、本发明的目的是通过以下技术方案实现的：

3、本发明的去中心化纵向联邦学习隐私保护方法，包括以下步骤：

4、步骤1：去中心化纵向联邦学习模型参与方的成员节点包括主动方、被动方、验证方。

5、步骤2：对步骤1所述的参与方的主动方和被动方经隐私求交后形成样本对齐的参与方数据，从而，形成主动方数据样本和被动方数据样本。

6、步骤3：去中心化纵向联邦学习模型初始化，即构建步骤1所述的参与方成员节点的数据样本和样本特征的对应关系。

7、步骤4：根据步骤2所得到的被动方数据样本与步骤3的对应关系所形成的被动方样本特征，被动方利用被动方样本特征的底层模型进行前向训练。

8、步骤4.1：被动方对底层模型的超参数进行初始化后利用被动方样本特征的底层模型进行前向训练，从而获得训练后的t轮本地中间结果，如式(1)所示。

9、

10、其中，i表示第i个被动方，t表示利用样本特征xi和底层模型θi进行第t轮模型训练。

11、步骤4.2：被动方将中间结果发送至验证方。

12、步骤5：验证方接收来自步骤4所述的t轮本地中间结果进行验证，对验证通过的本地中间结果进行拜占庭共识后，以加权聚合的方式形成聚合中间结果。

13、步骤5.1：验证方通过如式(2)所示的方式计算t轮本地中间结果与t-1轮本地中间结果的验证距离，将该验证距离与预定阈值比较后得到验证结果如式(3)所示。

14、

15、其中，公式(2)的表示第i个被动方第t轮的本地模型参数与上一轮即t-1轮本地模型参数的欧几里得距离，其中表示第i个被动方在第t轮的本地模型参数，表示第i个被动方在第t+1轮的本地模型参数。

16、

17、其中，公式(3)主要是用来表示验证结果，其中v表示被动方当前的本地模型是否验证通过，验证通过标记为1，验证不通过标记为0；表示第i个被动方在第t轮的本地模型参数。

18、步骤5.1.1：当验证距离>预定阈值l时，表示验证结果未通过；将v置0。

19、步骤5.1.2：当验证距离<预定阈值l时，表示验证结果通过；将v置1。

20、步骤5.2：将验证结果通过的本地中间结果提交并进行拜占庭共识，从而，形成区块链的链上中间结果。

21、步骤5.3：将步骤5.2所述的链上的中间结果使用平均聚合方式进行聚合。如式(4)所示，形成全局中间结果。

22、

23、其中，vt表示经过验证本地中间结果的总数。

24、步骤6：主动方利用步骤5所述的聚合得到的全局中间结果进行顶层模型训练。

25、步骤6.1：主动方对聚合中间结果经顶层模型训练得到如式(5)所示的预测结果。

26、yp＝θtop(ht) (5)

27、其中，θtop表示主动方拥有的顶层模型，ht表示聚合得到的全局中间结果。

28、步骤6.2：利用损失函数和标签赋值的方式对步骤6.1得到的预测结果计算损失值，如式(6)所示。

29、lt＝f(y，yp) (6)

30、其中，f表示损失函数，预测结果为yp，标签值为y，损失值为lt。

31、步骤6.3：利用梯度下降法和步骤6.2所述的损失值，获得主动方顶层模型的梯度值g。如式(7)所示。

32、

33、其中，公式(7)表示采用链式法则计算中间梯度值的过程损失函数lt相对于中间变量h的梯度。其中lt表示第t轮的损失值，h表示被动方的中间结果，y表示网络的输出值或某个中间层的输出值。

34、步骤7：被动方利用步骤6得到的主动方顶层模型的梯度值g反向更新本地模型参数。

35、步骤7.1：利用主动方顶层模型的梯度值g计算本地模型的梯度值gi如式(8)所示。

36、

37、步骤7.2：利用步骤7.1所得到的本地模型的梯度值gi和梯度下降法更新本地模型参数。

38、步骤8：重复步骤3至步骤7，直到训练模型达到预期的收敛精度或达到预先协商的最大训练轮数，此时停止训练；

39、本发明公开的纵向联邦学习隐私保护方法，针对现有纵向联邦学习存在单点故障和准确率低的问题，提出去中心化的纵向联邦学习隐私保护方法用于排除单独故障和提升准确率的性能。通过区块链中的共识组节点判断被动方的贡献值，聚合节点聚合共识后的被动方的本地值，实现去中心化的纵向联邦学习隐私保护方法。

40、有益效果：

41、1、本发明具有良好的鲁棒性。在客户端拥有质量较差的本地数据时，本发明能够显著提供模型的性能，减少质量较差的本地样本对全局模型精度的负面影响。

42、2、本发明实现了去中心化纵向联邦学习。本发明采用区块链技术实现了去中心化纵向联邦学习，采用共识组节点验证当前客户端本地训练的质量，解决了传统联邦学习面临的单独故障问题。

43、3、本发明确保了参与方的本地数据隐私安全。本发明通过交互客户端的本地数据的嵌入值实现多方协同的全局模型训练，而不是共享原始数据，因此保护了原始数据的隐私安全。

技术特征：

1.去中心化纵向联邦学习隐私保护方法，其特征在于：包括以下步骤，

2.如权利要求1所述的去中心化纵向联邦学习隐私保护方法，其特征在于：步骤4实现方法为，

3.如权利要求1所述的去中心化纵向联邦学习隐私保护方法，其特征在于：步骤5实现方法为，

4.如权利要求3所述的去中心化纵向联邦学习隐私保护方法，其特征在于：步骤5.1实现方法为，

5.如权利要求1所述的去中心化纵向联邦学习隐私保护方法，其特征在于：步骤6实现方法为，

6.如权利要求1所述的去中心化纵向联邦学习隐私保护方法，其特征在于：步骤7实现方法为，

技术总结本发明涉及去中心化纵向联邦学习隐私保护方法，属于机器学习技术领域。本发明包括步骤：1、模型参与方的成员节点包括主动方、被动方、验证方；2、形成主动方数据样本和被动方数据样本；3、模型初始化；4、被动方进行前向训练；5、验证方对本地中间结果进行验证通过拜占庭共识后，加权聚合形成聚合中间结果；6、主动方进行顶层模型训练；7、被动方利用主动方顶层模型的梯度值G反向更新本地模型参数；8、重复步骤3至步骤7，直到停止训练。本发明用于排除单独故障和提升准确率的性能，通过区块链中的共识组节点判断被动方的贡献值，聚合节点聚合共识后的被动方的本地值，实现去中心化的纵向联邦学习隐私保护方法。技术研发人员：盖珂珂,王烁,万彦筱,王安,祝烈煌受保护的技术使用者：北京理工大学技术研发日：技术公布日：2024/11/18