扩展安全聚合加速服务的运行时多任务管理方法和系统

本发明属于数据任务处理，涉及一种扩展安全聚合加速服务的运行时多任务管理方法和系统。

背景技术：

1、联邦学习(fl)是一种多设备协作训练全局模型的隐私保护训练技术。在每一轮训练中，中心服务器利用联邦平均或其衍生算法，通过聚合来自大量客户端的本地模型更新来更新全局模型权重(即模型参数)，然后将更新后的全局模型分发回这些客户端进行下一轮训练。模型更新的大小通常从兆字节到吉字节不等，而客户端可能有数百个，因此训练过程通常会产生巨大的通信开销，并极大地影响训练的持续时间。

2、可编程交换机的出现使传统网络设备能够提供更高水平的灵活性和定制性。众多研究主张在网络边缘部署可编程交换机，以实现网络的自主性和自适应性，最终提升边缘网络的业务性能。当多个客户端的流量汇聚到同一个交换机时，交换机可以主动进行聚合，并将聚合后的流量转发到下游，从而减少流量和通信延迟，这种方法称为网内聚合(in-network aggregation)。此外，交换机可以对接收到的报文立即进行聚合，并且只临时存储部分聚合后的结果，从而实现无状态的聚合，基于此已有研究设计了联邦学习设计的安全聚合加速服务(gain)，以满足实际应用需求。然而，上述技术还不具备运行时多任务管理的能力。

技术实现思路

1、针对上述传统方法中存在的问题，本发明提出了一种扩展安全聚合加速服务的运行时多任务管理方法和一种扩展安全聚合加速服务的运行时多任务管理系统，能够高效支持运行时多任务管理。

2、为了实现上述目的，本发明实施例采用以下技术方案：

3、一方面，提供一种扩展安全聚合加速服务的运行时多任务管理方法，包括步骤：

4、接收多gain任务的报文；

5、根据报文的报文内容查找聚合交互机内部的匹配规则表，返回报文的任务身份标识并且检索匹配到的聚合器表的偏移量；聚合交互机上预编译有聚合器表；

6、根据偏移量将报文匹配到聚合器表中的聚合器；

7、利用三阶段验证的启发式算法进行聚合交换机的路由计算，确定满足约束条件的路由；三阶段验证的启发式算法包括验证初始路由、验证聚合节点和验证聚合次数，约束条件包括使用聚合交换机进行聚合时剩余聚合能力大于或等于多gain任务所需的速率、路由满足每条链路的带宽约束以及保证每个客户端的数据至少聚合一次；

8、根据满足约束条件的路由完成对多gain任务的报文进行聚合处理。

9、另一方面，还提供一种扩展安全聚合加速服务的运行时多任务管理系统，包括：

10、报文接收模块，用于接收多gain任务的报文；

11、规则匹配模块，用于根据报文的报文内容查找聚合交互机内部的匹配规则表，返回报文的任务身份标识并且检索匹配到的聚合器表的偏移量；聚合交互机上预编译有聚合器表；

12、聚合匹配模块，用于根据偏移量将报文匹配到聚合器表中的聚合器；

13、路由计算模块，用于利用三阶段验证的启发式算法进行聚合交换机的路由计算，确定满足约束条件的路由；三阶段验证的启发式算法包括验证初始路由、验证聚合节点和验证聚合次数，约束条件包括使用聚合交换机进行聚合时剩余聚合能力大于或等于多gain任务所需的速率、路由满足每条链路的带宽约束以及保证每个客户端的数据至少聚合一次；

14、聚合处理模块，用于根据满足约束条件的路由完成对多gain任务的报文进行聚合处理。

15、上述技术方案中的一个技术方案具有如下优点和有益效果：

16、上述扩展安全聚合加速服务的运行时多任务管理方法和系统，通过扩展gain以支持运行时的多任务管理，其在每个可编程交换机上预编译聚合器表并在不同的联邦学习任务之间动态分配聚合器表上的聚合器，以将gain任务拓展到多任务应用，不同的任务可以使用同一个交换机上的聚合器，而不会相互干扰，在多任务管理过程中通过高效的任务路由算法计算联邦学习任务的路由，避免了中心服务器从单个客户端收集数据且保证每个客户端的数据至少聚合一次，保护了用户的数据隐私，达到使gain具备运行时多任务管理的能力的效果。

技术特征：

1.一种扩展安全聚合加速服务的运行时多任务管理方法，其特征在于，包括步骤：

2.根据权利要求1所述的扩展安全聚合加速服务的运行时多任务管理方法，其特征在于，利用三阶段验证的启发式算法进行聚合交换机的路由计算，未能确定满足约束条件的路由时，所述运行时多任务管理方法还包括步骤：

3.根据权利要求1或2所述的扩展安全聚合加速服务的运行时多任务管理方法，其特征在于，还包括步骤：

4.一种扩展安全聚合加速服务的运行时多任务管理系统，其特征在于，包括：

5.根据权利要求4所述的扩展安全聚合加速服务的运行时多任务管理系统，其特征在于，还包括路由重计算模块，用于利用三阶段验证的启发式算法更新最短路径树中所有的分岔点集合；对于每个需要重新计算路由的源节点，利用三阶段验证的启发式算法分别计算从源节点到分岔点集合中每个节点的最短路径，并选择最短的一条路径；利用三阶段验证的启发式算法验证最短的一条路径上的所有链路是否具有大于等于多gain任务请求所需速率的可用带宽；若否，则确定请求不成功，否则确定最短的一条路径为重新计算得到的路由。

6.根据权利要求4或5所述的扩展安全聚合加速服务的运行时多任务管理系统，其特征在于，还包括内存碎片消除模块，用于在确定出现交换机内存碎片化时同步所有源节点的窗口，清除所有在所述聚合交换机上运行的多gain任务的区域，并重新将多gain任务按原顺序在聚合器表上指定任务的新聚合器区域。

技术总结本申请涉及扩展安全聚合加速服务的运行时多任务管理方法和系统，通过扩展GAIN以支持运行时的多任务管理，其在每个可编程交换机上预编译聚合器表并在不同的联邦学习任务之间动态分配聚合器表上的聚合器，以将GAIN任务拓展到多任务应用，不同的任务可以使用同一个交换机上的聚合器，而不会相互干扰，在多任务管理过程中通过高效的任务路由算法计算联邦学习任务的路由，避免了中心服务器从单个客户端收集数据且保证每个客户端的数据至少聚合一次，保护了用户的数据隐私，达到使GAIN具备运行时多任务管理的能力的效果。技术研发人员：程葛瑶,夏俊旭,徐振兴,王坤,周书林,李良昊,王振义,米海波,刘凤增受保护的技术使用者：中国人民解放军国防科技大学技术研发日：技术公布日：2024/11/18