基于联邦学习的异步模型训练方法、系统及电子设备与流程

本公开涉及联邦学习，具体地，涉及一种基于联邦学习的异步模型训练方法、系统及电子设备。

背景技术：

1、纵向联邦学习是一种在多个数据拥有者之间协同进行训练模型的方法。参与纵向联邦学习的参与方各自启动大量的训练器进行协同训练，但是受负载不平衡、软硬件不一致、网络不稳定等诸多因素，导致训练器存在先后、快慢之分，不会恰好在同一时刻完成协同任务。

2、而纵向联邦学习的同步训练机制，要求各参与方的训练器完成一批次的训练任务后，才能执行下一批次的训练任务，导致训练器闲置，无法有效利用计算资源，进而整体训练效率低。

技术实现思路

1、提供该技术实现要素：部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、第一方面，本公开提供一种基于联邦学习的异步模型训练方法，应用于有标签的第一参与方，所述方法包括：

3、基于第一底部模型和第一特征数据得到第一嵌入向量，并从版本控制器获取第二嵌入向量，其中，所述第二嵌入向量由无标签的第二参与方基于第二底部模型和第二特征数据得到，所述版本控制器用于对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理，所述第一特征数据与所述第二特征数据为相同样本空间、不同特征维度的特征数据；

4、根据所述第一嵌入向量、所述第二嵌入向量、所述第一特征数据、所述第一特征数据的标签和顶部模型，确定目标梯度信息；

5、基于所述目标梯度信息更新所述第一底部模型，并将所述目标梯度信息存储至所述版本控制器，以便所述第二参与方从所述版本控制器获取所述目标梯度信息，并基于所述目标梯度信息更新所述第二底部模型。

6、第二方面，本公开提供一种基于联邦学习的异步模型训练方法，应用于无标签的第二参与方，所述方法包括：

7、基于第二底部模型和第二特征数据得到第二嵌入向量，并将所述第二嵌入向量存储至版本控制器，以便有标签的第一参与方执行以下操作：从所述版本控制器获取所述第二嵌入向量，并根据第一嵌入向量、所述第二嵌入向量、第一特征数据、所述第一特征数据的标签和顶部模型，确定目标梯度信息，并将所述目标梯度信息存储至所述版本控制器，其中，所述版本控制器用于对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理，所述第一嵌入向量由所述第一参与方基于第一底部模型和第一特征数据得到，所述第一特征数据与所述第二特征数据为相同样本空间、不同特征维度的特征数据；

8、从所述版本控制器获取所述目标梯度信息，并根据所述目标梯度信息更新所述第二底部模型。

9、第三方面，本公开提供一种基于联邦学习的异步模型训练系统，所述联邦学习系统包括有标签的第一参与方、无标签的第二参与方和版本控制器，所述版本控制器用于对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理，所述第一参与方用于执行上述第一方面中任一项所述方法的步骤，所述第二参与方用于执行上述第二方面中任一项所述方法的步骤。

10、第四方面，本公开提供一种基于联邦学习的异步模型训练装置，应用于有标签的第一参与方，所述装置包括：

11、获取模块，用于基于第一底部模型和第一特征数据得到第一嵌入向量，并从版本控制器获取第二嵌入向量，其中，所述第二嵌入向量由无标签的第二参与方基于第二底部模型和第二特征数据得到，所述版本控制器用于对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理，所述第一特征数据与所述第二特征数据为相同样本空间、不同特征维度的特征数据；

12、确定模块，用于根据所述第一嵌入向量、所述第二嵌入向量、所述第一特征数据、所述第一特征数据的标签和顶部模型，确定目标梯度信息；

13、第一底部模型更新模块，用于基于所述目标梯度信息更新所述第一底部模型，并将所述目标梯度信息存储至所述版本控制器，以便所述第二参与方从所述版本控制器获取所述目标梯度信息，并基于所述目标梯度信息更新所述第二底部模型。

14、第五方面，本公开提供一种基于联邦学习的异步模型训练装置，应用于无标签的第二参与方，所述装置包括：

15、存储模块，用于基于第二底部模型和第二特征数据得到第二嵌入向量，并将所述第二嵌入向量存储至版本控制器，以便有标签的第一参与方执行以下操作：从所述版本控制器获取所述第二嵌入向量，并根据第一嵌入向量、所述第二嵌入向量、第一特征数据、所述第一特征数据的标签和顶部模型，确定目标梯度信息，并将所述目标梯度信息存储至所述版本控制器，其中，所述版本控制器用于对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理，所述第一嵌入向量由所述第一参与方基于第一底部模型和第一特征数据得到，所述第一特征数据与所述第二特征数据为相同样本空间、不同特征维度的特征数据；

16、第二底部模型更新模块，用于从所述版本控制器获取所述目标梯度信息，并根据所述目标梯度信息更新所述第二底部模型。

17、第六方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现上述第一方面或第二方面中任一项所述方法的步骤。

18、第七方面，本公开提供一种电子设备，包括：

19、存储装置，其上存储有计算机程序；

20、处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述第一方面或第二方面中任一项所述方法的步骤。

21、第八方面，本公开提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面或第二方面中任一项所述的方法的步骤。

22、通过上述技术方案，有标签的第一参与方基于第一底部模型和第一特征数据得到第一嵌入向量，并从版本控制器获取第二参与方基于第二底部模型和第二特征数据得到的第二嵌入向量，进而根据第一嵌入向量、第二嵌入向量、第一特征数据、第一特征数据的标签和顶部模型确定目标梯度信息，最后基于目标梯度信息更新第一底部模型，并将目标梯度信息存储至版本控制器，以便第二参与方从版本控制器获取目标梯度信息更新第二底部模型。

23、采用上述方法，通过版本控制器对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理，有标签的第一参与方从版本控制器中获取所需的嵌入向量，并将后续所得的目标梯度信息存入版本控制器供无标签的参与方更新模型，即通过引入中间数据的缓存机制，实现联邦学习的异步模型训练，减少联邦学习过程中训练器之间的空闲等待和通信开销，提高计算资源的利用率和模型训练效率。

24、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种基于联邦学习的异步模型训练方法，其特征在于，应用于有标签的第一参与方，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述版本控制器用于存储基于最新版本的第二底部模型得到的第二嵌入向量；或，

3.根据权利要求1所述的方法，其特征在于，所述从版本控制器获取第二嵌入向量，包括：

4.根据权利要求1所述的方法，其特征在于，所述版本控制器中的第二嵌入向量关联存储有对应第二底部模型的模型版本，所述从版本控制器获取第二嵌入向量，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一嵌入向量、所述第二嵌入向量、所述第一特征数据、所述第一特征数据的标签和顶部模型，确定目标梯度信息，包括：

6.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述目标梯度信息更新所述第一底部模型，包括：

7.根据权利要求1-4任一项所述的方法，其特征在于，所述版本控制器包括嵌入向量版本控制器和梯度信息版本控制器，所述嵌入向量版本控制器用于对联邦学习过程中得到的嵌入向量进行版本管理，所述梯度信息版本控制器用于对联邦学习过程中得到的梯度信息进行版本管理。

8.一种基于联邦学习的异步模型训练方法，其特征在于，应用于无标签的第二参与方，所述方法包括：

9.根据权利要求8所述的方法，其特征在于，所述版本控制器用于存储基于最新版本的顶部模型得到的目标梯度信息；或，

10.根据权利要求8所述的方法，其特征在于，所述从所述版本控制器获取所述目标梯度信息，包括：

11.根据权利要求8所述的方法，其特征在于，所述版本控制器中的目标梯度信息关联存储有对应顶部模型的模型版本，所述从所述版本控制器获取所述目标梯度信息，包括：

12.根据权利要求8-11任一项所述的方法，其特征在于，所述根据所述目标梯度信息更新所述第二底部模型，包括：

13.一种基于联邦学习的异步模型训练系统，其特征在于，所述联邦学习系统包括有标签的第一参与方、无标签的第二参与方和版本控制器，所述版本控制器用于对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理，所述第一参与方用于执行上述权利要求1-7中任一项所述方法的步骤，所述第二参与方用于执行上述权利要求8-12中任一项所述方法的步骤。

14.一种基于联邦学习的异步模型训练装置，其特征在于，应用于有标签的第一参与方，所述装置包括：

15.一种基于联邦学习的异步模型训练装置，其特征在于，应用于无标签的第二参与方，所述装置包括：

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理装置执行时实现权利要求1-12中任一项所述方法的步骤。

17.一种电子设备，其特征在于，包括：

18.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-12中任一项所述的方法的步骤。

技术总结本公开涉及一种基于联邦学习的异步模型训练方法、系统及电子设备，以通过版本控制器实现联邦学习的异步模型训练，提高计算资源的利用率和模型训练效率。该方法包括：基于第一底部模型和第一特征数据得到第一嵌入向量，并从版本控制器获取第二嵌入向量，版本控制器用于对联邦学习过程中得到的嵌入向量和梯度信息进行版本管理；根据第一嵌入向量、第二嵌入向量、第一特征数据、第一特征数据的标签和顶部模型，确定目标梯度信息；基于目标梯度信息更新第一底部模型，并将目标梯度信息存储至版本控制器，以便第二参与方从版本控制器获取目标梯度信息，并基于目标梯度信息更新第二底部模型。技术研发人员：杨克宇,刘洋,史俊杰,杨青友,洪爵,吴烨受保护的技术使用者：北京火山引擎科技有限公司技术研发日：技术公布日：2024/7/29