基于贝叶斯优化的联邦学习超参数选择系统及方法与流程

1.本发明涉及机器学习技术领域，尤其涉及基于贝叶斯优化的联邦学习超参数选择系统及方法。


背景技术：

2.联邦学习是一种新兴的基于机器学习的技术，很好的解决了多个数据拥有方既要保证数据隐私安全，又要联合建模的问题。在训练模型的过程中，不同的超参数对应的模型性能不同，对超参数进行调优可以一定程度上改进模型的性能。但是，模型的超参数可能有很多，而每个超参数的可选范围又很广，以至于超参数组合的数量就呈指数增长。现有技术在超参数搜索过程中，需要提前设定好各个参数的最优值可能范围，使用网格穷举搜索方法选取最优的超参数组合。由于要遍历所有的超参数组合，因而会造成超参数搜索效率较低。


技术实现要素：

3.本技术为了解决上述技术问题提供基于贝叶斯优化的联邦学习超参数选择系统及方法。
4.本技术通过下述技术方案实现：基于贝叶斯优化的联邦学习超参数选择系统，包括：配置策略模块，负责配置联邦模型和贝叶斯超参数选择策略，贝叶斯超参数选择模块，用于联合中心节点和各数据提供方的参与节点共同完成超参数的选择。
5.优选地，所述配置策略模块负责配置贝叶斯优化目标函数、超参数搜索空间、贝叶斯优化算法、超参数迭代次数、联邦模型参数、以及多个数据拥有方的参与节点的地址。
6.进一步的，所述贝叶斯超参数选择模块包括部署在中心节点的参数选择模块、联邦训练模块以及联邦预测模块；所述参数选择模块，负责贝叶斯优化的参数估计，根据已有的参数样本估计并更新参数的高斯分布，选择下一个超参数组合；所述联邦交叉训练模块，负责基于超参数组合，利用中心节点和各参与节点进行联邦交叉验证训练，得到联邦交叉验证模型；所述联邦交叉预测模块，负责得到该超参数组合的联邦模型的性能指标。
7.进一步的，所述贝叶斯超参数选择模块还包括部署在各参与节点的本地交叉训练模块和本地交叉预测模块；所述本地交叉训练模块，负责基于接收到的模型列表，对本地样本做交叉验证样本分割，使用不同交叉验证训练集做增量训练，得到本地模型列表；本地交叉预测模块，负责基于本地交叉验证测试集和联邦模型列表进行预测，得到本地全部样本的预测结果。
8.基于贝叶斯优化的联邦学习超参数选择方法，该方法使用了所述的联邦学习超参数选择系统，具体包括以下步骤：多个参与节点准备好本地交叉训练和交叉预测模块，分别启动服务并监听等待中心节点的调度；中心节点根据业务配置联邦模型和贝叶斯超参数选择策略；中心节点启用贝叶斯超参数选择模块，多次基于不同超参数组合，调度联邦学习的交叉训练和交叉预测过程，选择性能最优的超参数组合。
9.进一步的，联邦交叉训练过程中，联邦训练会多次迭代模型训练过程，任意一次迭代包括以下步骤：中心节点将模型列表下发至参与节点；参与节点基于本地训练数据同时训练多个本地模型，并将其发送至中心节点；中心节点接收后更新联邦模型列表；中心节点继续与下一个参与节点进行交互，直至各参与节点都完成一次训练。
10.其中，联邦交叉预测包括以下步骤：中心节点将联邦模型列表下发至所有的参与节点；各参与节点基于本地交叉验证测试集进行预测，并将其发送至中心节点；中心节点接收并聚合所有参与节点的预测结果，计算本轮超参数组合对应联邦模型的性能评估指标。
11.进一步的，贝叶斯超参数选择模块根据配置策略模块预设的迭代次数，迭代超参数训练过程，每次超参数训练过程均包括参数选择、联邦训练以及联邦预测；达到预设的迭代次数后，基于多次迭代训练多个超参数组合对应的联邦模型性能值，选择性能最优的超参数组合。
12.与现有技术相比，本技术具有以下有益效果：本技术会充分利用前面迭代的先验知识来得到下一次迭代的超参数组合，避免了多余无谓的某些超参数组合的计算，从而提高超参数效率。本技术可解决联邦学习建模时的超参数搜索效率较低的问题，适用于联邦学习的超参数调优场景。
附图说明
13.此处所说明的附图用来提供对本技术实施方式的进一步理解，构成本技术的一部分，并不构成对本发明实施方式的限定。
14.图1为实施例中的基于贝叶斯优化的联邦学习超参数选择系统架构图；图2为实施例中的基于贝叶斯优化的联邦学习超参数选择系统的中心节点的贝叶斯参数选择流程图；图3为实施例中的基于贝叶斯优化的联邦学习超参数选择方法步骤图；图4为实施例中的基于贝叶斯优化的联邦学习超参数选择方法的联邦交叉训练的流程图；图5为实施例中的基于贝叶斯优化的联邦学习超参数选择方法的联邦交叉预测的流程图。
具体实施方式
15.为使本技术的目的、技术方案和优点更加清楚，下面将结合实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。
16.因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
17.实施例一本实施例公开的基于贝叶斯优化的联邦学习超参数选择系统，应用于中心节点和各数据提供方的参与节点。如图1所示，该系统具体包括配置策略模块和贝叶斯超参数选择模块。
18.其中，配置策略模块负责配置联邦模型和贝叶斯超参数选择策略，包括：贝叶斯优化目标函数、超参数搜索空间、贝叶斯优化算法、超参数迭代次数、联邦模型参数、以及多个数据拥有方的参与节点的地址。
19.贝叶斯超参数选择模块，包括部署在中心节点的参数选择模块、联邦训练模块和联邦预测模块。其中，参数选择模块，负责贝叶斯优化的参数估计，根据已有的参数样本估计并更新参数的高斯分布，选择下一个超参数组合；联邦交叉训练模块，负责基于超参数组合，利用中心节点和各参与节点进行联邦交叉验证训练，得到联邦交叉验证模型；联邦交叉预测模块，负责得到该超参数组合的联邦模型的性能指标。
20.值得一提的是，贝叶斯超参数选择模块还包括部署在各参与节点的本地交叉训练模块和本地交叉预测模块。
21.其中，本地交叉训练模块是基于接收到的模型列表，对本地样本做交叉验证样本分割，使用不同交叉验证训练集做增量训练，得到本地模型列表；本地交叉预测模块是基于本地交叉验证测试集和联邦模型列表进行预测，得到本地全部样本的预测结果。
22.如图2所示，本实施例中的基于贝叶斯优化的联邦学习超参数选择系统的中心节点的贝叶斯参数选择流程，贝叶斯超参数选择模块，会多次迭代超参数训练过程，一次完整的超参数训练过程包括参数选择、联邦训练以及联邦预测。达到配置策略模块预设的迭代次数后，基于多次迭代训练多个超参数组合对应的联邦模型性能值，选择性能最优的超参数组合。
23.贝叶斯优化假设超参数和模型的性能服从一个高斯函数关系，假设超参数组合为x，模型性能为y，目标即找到能逼近y的f(x)的函数，也就是找出预测超参数组合的性能的函数，从而就能基于此函数找到使模型性能y最小的超参数组合x。贝叶斯优化的过程，如下：1，初始化数据集d=quotequote,...2，循环迭代t次；3，利用数据集计算高斯分布；
4，选择超参数组合x；5，计算模型性能y，更新数据集d。
24.实施例二基于上述基于贝叶斯优化的联邦学习超参数选择系统，本实施例提供一种基于贝叶斯优化的联邦学习超参数选择方法。如图3所示，该方法包括以下步骤：多个参与节点准备好本地交叉训练和交叉预测模块，分别启动服务并监听等待中心节点的调度；中心节点根据业务配置联邦模型和贝叶斯超参数选择策略；中心节点启用贝叶斯超参数选择模块，多次基于不同超参数组合，调度联邦学习的交叉训练和交叉预测过程，选择性能最优的超参数组合。
25.其中，联邦交叉训练流程如图4所示，联邦交叉训练过程中，联邦训练会多次迭代模型训练过程，任意一次迭代过程包括：中心节点将模型列表下发至参与节点；参与节点基于本地训练数据同时训练多个本地模型，并将其发送至中心节点；中心节点接收后更新联邦模型列表；中心节点继续与下一个参与节点进行交互，直至各参与节点都完成一次训练。
26.其中，联邦交叉预测的流程如图5所示，联邦交叉预测过程包括：中心节点将联邦模型列表下发至所有的参与节点；各参与节点基于本地交叉验证测试集进行预测，并将其发送至中心节点；中心节点接收并聚合所有参与节点的预测结果，计算本轮超参数组合对应联邦模型的性能评估指标。
27.本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
28.另外，在本技术实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
29.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
30.而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何
这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
31.以上的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。