联合学习过程的制作方法

本公开涉及通信网络中的方法、节点和系统。更具体地但不限于此，本公开涉及通信网络中的联合学习过程。

背景技术：

1、联合学习(fl)是一种具有隐私意识的协作式机器学习(ml)技术。在该技术的设置中，参与者是服务器和客户端。服务器构造全局ml模型，客户端帮助构造该模型。该技术中的隐私增强在于，客户端发送使用它们自己的数据计算的一些更新参数，而不是将它们的纯数据(plain data)发送到服务器。fl工作如下：第一步，服务器构造初始的全局ml模型，然后将其发送到客户端。每个客户端使用它自己的数据来训练该模型以获得本地模型更新，然后将模型更新发送到服务器。服务器聚合本地模型更新以构造全局模型。这些步骤被重复，直到全局模型收敛为止。

2、虽然隐私数据不会以明文被发送到服务器，但一些研究表明，被发送到服务器的本地模型更新可能泄露关于客户端的隐私数据的一些信息。为了防止信息泄露，已经提出了使用一些隐私增强技术，例如同态加密(homomorphic encryption)、安全多方计算、以及机密计算。所提出的解决方案之一是使用安全聚合。在安全聚合方法中，客户端加密它们的更新，然后将加密后的更新发送到服务器。然后，服务器聚合加密后的更新并解密聚合后的结果。这样，服务器无法学习个体更新，并且只能学习聚合后的输出。

3、虽然隐私增强技术解决了隐私问题，但这些技术很难防止针对模型构造的安全攻击，例如后门或中毒攻击。原因在于服务器无法分析来自客户端的数据，因为数据是加密的，服务器只能学习聚合后的结果。

4、alberto blanco-justicia等人(2020)的题为“在联合学习系统中实现安全和隐私：调查、研究挑战和未来方向(achieving security and privacy in federatedlearning systems:survey,research challenges and future directions)”的论文提出了一种在不损害安全保护机制的情况下解决隐私问题的解决方案。根据它们的解决方案，当数据的发送者对服务器匿名时，服务器可能无法泄露来自客户端的模型更新中的信息。以下是数据发送者匿名化的解决方案的摘录：

5、“基本思想在于，不是每个客户端始终直接向fl服务器提交它的模型更新(这可能泄露它的隐私数据)，而是客户端选择将它的模型更新转发到另一客户端，我们称之为受托转发者(forwardee)。受托转发者又可以决定将更新后的模型提交到fl服务器或拒绝此操作。如果受托转发者拒绝该请求，更新发起者尝试另一受托转发者，直到某个客户端将该模型更新提交到fl服务器为止。这种单跳方法保护了更新发起者相对于fl服务器的隐私，因为fl服务器不知道每个所接收到的更新是谁发起的，并且无法链接同一发起者进行的相继模型更新。该方法是单跳的，它不保护客户端相对于彼此的隐私(受托转发者知道谁发起了接收到的更新)。为了解决此问题，我们可以将该思想概括成多跳协议，由此接收到模型更新的受托转发者可以提交该模型更新或将该模型更新转发到另一受托转发者。转发是拒绝更新后的模型的替代方法。该多跳方法防止向fl服务器和其他客户端两者泄露隐私，因为fl服务器和受托转发者都不知道它们正在从发起者还是从另一受托转发者接收模型更新。此外，由同一客户端发起的相继模型更新是不可链接的，这在很大程度上保证了客户端的隐私数据集保持机密。点对点多跳协议已经被成功应用于增强其他上下文中的隐私，例如向网络搜索引擎的匿名查询提交(domingo-ferrer等人，2017年)。

6、...

7、所提出的解决方案在相对于fl服务器和其他客户端两者的隐私方面令人满意。与差分(differential)隐私不同，模型更新不受干扰，因此模型的准确性被完全保留。此外，模型更新既不受干扰也不被聚合的事实允许fl服务器计算关于客户端更新的权重和偏差的统计数据，以便检测和丢弃有缺陷的(或恶意的)更新。缺点在于，更新的点对点转发要求客户端相互通信，因此引入了通信开销。”

技术实现思路

1、本文的公开内容涉及保护联合学习中的多跳通信中的本地模型更新。

2、根据第一方面，存在一种由通信网络中的检测器节点执行的方法，其中，所述检测器节点用于监视在第一客户端节点、第二客户端节点以及联合学习fl服务器之间发送的消息，作为fl过程的一部分，其中，作为所述fl过程的一部分，所述第一客户端节点将本地模型更新发送到所述第二客户端节点以用于转发到所述fl服务器。所述方法包括：接收与从所述第一客户端节点发送到所述第二客户端节点的所述本地模型更新相关的第一信息；接收与由所述第二客户端节点接收或转发的所述本地模型更新相关的第二信息；以及比较所述第一信息与所述第二信息，以确定所述第二客户端节点是否正确地接收或转发与所述本地模型更新相关的所述第一信息。

3、根据第二方面，存在一种由通信网络中的第一客户端节点执行的方法，其中，所述第一客户端节点参与与第二客户端节点和联合学习fl服务器的联合学习fl过程，其中，作为所述fl过程的一部分，所述第一客户端节点将本地模型更新发送到所述第二客户端节点以用于转发到所述fl服务器，所述方法包括：将所述本地模型更新发送到所述第二客户端节点，以用于由所述第二客户端节点转发到所述fl服务器；以及将与所述本地模型更新相关的第一信息发送到所述通信网络中的检测器节点。

4、根据第三方面，存在一种由通信网络中的第二客户端节点执行的方法，其中，所述第二客户端节点参与与第一客户端节点和联合学习fl服务器的联合学习fl过程，其中，作为所述fl过程的一部分，所述第一客户端节点将本地模型更新发送到所述第二客户端节点以用于转发到所述fl服务器，所述方法包括：将与由所述第二客户端节点接收或转发的所述本地模型更新相关的第二信息发送到检测器节点。

5、根据第四方面，存在一种由联合学习fl服务器执行的方法，其中，所述fl服务器参与与第一客户端节点和第二客户端节点的联合学习fl过程，其中，作为所述fl过程的一部分，所述第一客户端节点将本地模型更新发送到所述第二客户端节点以用于转发到所述fl服务器，所述方法包括：从所述第二客户端节点接收所述本地模型更新；以及将与所接收的所述本地模型更新相关的第三信息发送到检测器节点或所述第二客户端节点。

6、根据第五方面，存在一种被配置为执行所述第一方面的检测器节点。

7、根据第六方面，存在一种被配置为执行所述第二方面的第一客户端节点。

8、根据第七方面，存在一种被配置为执行所述第三方面的第二客户端节点。

9、根据第八方面，存在一种被配置为执行所述第四方面的联合学习fl服务器。

10、根据第十方面，存在一种包括计算机可读介质的计算机程序产品，所述计算机可读介质存储有计算机可读代码，所述计算机可读代码被配置为在由合适的计算机或处理器执行时，使得所述计算机或处理器执行前四个方面中任一个方面的方法。

11、根据第十一方面，存在一种包括指令的计算机程序，所述指令当在至少一个处理器上执行时使得所述至少一个处理器执行根据前四个方面中任一个方面的方法。

12、根据第十二方面，存在一种包含根据第十或第十一方面的计算机程序的载体，其中，所述载体包括电子信号、光信号、无线电信号或计算机可读存储介质中的一个。

13、根据第十三方面，存在一种包括非暂时性计算机可读介质的计算机程序产品，在所述非暂时性计算机可读介质上存储有根据第十或第十一方面的计算机程序。

14、因此，本文的实施例有利地使得能够检测在多跳fl过程中丢弃分组而不是转发分组的节点。因此，能够确保所有本地模型更新(本地模型)都到达fl服务器。