一种面向异构无人集群的联邦学习方法、设备及存储介质与流程

本申请属于无人机控制，尤其涉及一种面向异构无人集群的联邦学习方法、设备及存储介质。

背景技术：

1、由于联邦学习可以支持多个分布式的数据持有者在不共享本地数据的情况下，协同训练特定的神经网络模型，使得联邦学习在智能无人相关领域得到了极大的应用。研究人员对同步联邦学习和完全异步联邦学习进行了很多意义深远的探索，以期基于联邦学习实现多智能体分布式、协同训练。

2、然而，由于局部数据集样本数量、处理器核心能力以及能量载荷之间的差异，多个分布式参与方完成一次局部网络模型训练所需的时间不尽相同。如此一来，在同步联邦学习中，完成一次全局网络模型更新所需要的时间，完全决定于多个分布式参与方中耗时最长的那个。再者，由于极端天气、设备故障以及可能存在的恶意干扰等其他因素，部分参与方很可能在短时间内无法完成局部网络模型的训练和上传，从而严重影响全局网络模型的实时在线更新，极大延误联邦学习的进程，这就是同步联邦学习中存在的掉队者问题。而在完全异步联邦学习中，则存在有限的无线频谱资源不能完全支持过于频繁的网络模型参数交换的问题。除此之外，由于接收到任意一个参与方上传的局部模型更新都需要进行一次全局网络模型的更新，只要任何一个参与方上传到的局部模型更新存在有较大的偏差，就将直接影响到全局网络模型的性能。

3、因此，如何解决上述技术问题，是目前研究的重要问题。

技术实现思路

1、本发明主要解决的技术问题是提供一种面向异构无人集群的联邦学习方法、设备及存储介质，解决如何在所要求的时间内完成全局网络模型聚合，实现全局网络模型的在线更新，还能在确保全局网络模型具有良好的性能的同时，减少上传局部网络模型所需的无线频谱资源的问题。

2、为解决上述技术问题，本发明采用的一个技术方案是提供一种面向异构无人集群的联邦学习方法、设备及存储介质，其中，该面向异构无人集群的联邦学习方法，包括步骤：

3、各抵近无人机根据局部训练数据集进行训练，以第一时间段为训练周期，在训练周期内完成训练的抵近无人机将局部网络模型更新上传至中心无人机。

4、中心无人机对接收到的局部网络模型更新进行聚合，进一步生成全局网络模型，并将全局网络模型广播至已上传局部网络模型更新的抵近无人机。

5、抵近无人机将全局网络模型作为新的局部网络模型，根据局部训练数据集对新的局部网络模型进行迭代训练，并上传新的局部网络模型更新至中心无人机。

6、中心无人机将经过迭代训练的新的局部网络模型更新进行重新聚合，直至全局网络模型完成设定的迭代次数。

7、在一些实施例中，各抵近无人机根据局部训练数据集进行训练，以第一时间段为训练周期，在训练周期内完成训练的抵近无人机将局部网络模型更新上传至中心无人机步骤中，还包括：

8、将在周期内完成训练的局部网络模型更新作为原始模型更新，抵近无人机将原始模型更新上传至中心无人机之前，先将原始模型更新进行压缩得到压缩模型更新，计算原始模型更新与压缩模型更新之间的相似性，并根据相似性的大小以及局部网络模型更新的年龄判断上传原始模型更新或压缩模型更新，其中，局部网络模型更新的年龄表示抵近无人机相邻两次参与全局网络模型迭代训练之间的差值。

9、在一些实施例中，中心无人机对接收到的局部网络模型更新进行聚合，进一步生成全局网络模型，并将全局网络模型广播至已上传局部网络模型更新的抵近无人机步骤中，还包括：

10、若抵近无人机上传的是压缩模型更新，则中心无人机先将接收到的压缩模型更新进行解压缩，再将解压缩后的局部网络模型更新进行聚合。

11、在一些实施例中，抵近无人机将全局网络模型作为新的局部网络模型，根据局部训练数据集对新的局部网络模型进行迭代训练，并上传新的局部网络模型更新至中心无人机步骤中，还包括：

12、若局部网络模型在训练周期内完成训练，则抵近无人机上传局部网络模型更新至中心无人机；否则，继续对局部网络模型进行训练，并记录局部网络模型的迭代训练次数。

13、在一些实施例中，中心无人机将经过迭代训练的新的局部网络模型更新进行重新聚合，直至全局网络模型完成设定的迭代次数步骤中，还包括：中心无人机进行重新聚合时，根据局部网络模型更新的年龄以及局部训练数据集的样本数量分配不同的权重系数。

14、在一些实施例中，在各抵近无人机根据局部训练数据集进行训练之前，还包括：中心无人机与所有的抵近无人机建立一个共享矩阵，其中，共享矩阵的任意两个行向量都是不相关的；根据共享矩阵可以提取压缩矩阵，用于获得压缩函数和解压缩函数，其中，压缩函数用于将原始模型更新进行压缩得到压缩模型更新，解压缩函数用于将压缩模型更新进行解压缩。

15、在一些实施例中，计算原始模型更新与压缩模型更新之间的相似性，方法为：

16、

17、其中，表示原始模型更新，表示压缩模型更新。

18、在一些实施例中，压缩矩阵为：

19、

20、压缩函数为：

21、

22、解压缩函数为：

23、

24、其中，q表示共享矩阵，表示从共享矩阵中取出行对应的索引组成的集合，表示由行d列组成的矩阵。

25、为解决上述技术问题，本申请还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机程序，计算机程序被处理器执行时实现上述任意一种的面向异构无人集群的联邦学习方法。

26、为解决上述技术问题，本申请还提供一种计算机可读存储介质，其上存储有程序指令，程序指令用于实现上述任意一种的面向异构无人集群的联邦学习方法。

27、有益效果：本申请公开了一种面向异构无人集群的联邦学习方法、设备及存储介质，其中，该方法包括步骤：各抵近无人机根据局部训练数据集进行训练，以第一时间段为训练周期，在训练周期内完成训练的抵近无人机将局部网络模型更新上传至中心无人机；中心无人机对接收到的局部网络模型更新进行聚合，进一步生成全局网络模型，并将全局网络模型广播至已上传局部网络模型更新的抵近无人机；抵近无人机将全局网络模型作为新的局部网络模型，根据局部训练数据集对新的局部网络模型进行迭代训练，并上传新的局部网络模型更新至中心无人机；中心无人机将经过迭代训练的新的局部网络模型更新进行重新聚合，直至全局网络模型完成设定的迭代次数。本申请的方法可以在所要求的时间内完成一次全局网络模型聚合，实现全局网络模型的在线更新，还能在确保性能的同时减少无线频谱资源的消耗。

技术特征：

1.一种面向异构无人集群的联邦学习方法，其特征在于，包括步骤：

2.根据权利要求1所述的面向异构无人集群的联邦学习方法，其特征在于，所述各抵近无人机根据局部训练数据集进行训练，以第一时间段为训练周期，在所述训练周期内完成训练的所述抵近无人机将局部网络模型更新上传至中心无人机步骤中，还包括：

3.根据权利要求2所述的面向异构无人集群的联邦学习方法，其特征在于，所述中心无人机对接收到的所述局部网络模型更新进行聚合，进一步生成全局网络模型，并将所述全局网络模型广播至已上传局部网络模型更新的抵近无人机步骤中，还包括：

4.根据权利要求3所述的面向异构无人集群的联邦学习方法，其特征在于，所述抵近无人机将所述全局网络模型作为新的局部网络模型，根据所述局部训练数据集对所述新的局部网络模型进行迭代训练，并上传新的所述局部网络模型更新至所述中心无人机步骤中，还包括：

5.根据权利要求4所述的面向异构无人集群的联邦学习方法，其特征在于，所述中心无人机将经过迭代训练的所述新的局部网络模型更新进行重新聚合，直至所述全局网络模型完成设定的迭代次数步骤中，还包括：

6.根据权利要求5所述的面向异构无人集群的联邦学习方法，其特征在于，在所述各抵近无人机根据局部训练数据集进行训练之前，还包括：

7.根据权利要求6所述的面向异构无人集群的联邦学习方法，其特征在于，所述计算所述原始模型更新与压缩模型更新之间的相似性，方法为：

8.根据权利要求7所述的面向异构无人集群的联邦学习方法，其特征在于，所述压缩矩阵为：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现权利要求1至8任一项所述的面向异构无人集群的联邦学习方法。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令用于实现权利要求1至8任一项所述的面向异构无人集群的联邦学习方法。

技术总结本申请公开了一种面向异构无人集群的联邦学习方法、设备及存储介质，该方法包括：各抵近无人机根据局部训练数据集进行训练，完成训练的抵近无人机将局部网络模型更新上传至中心无人机；中心无人机对局部网络模型更新进行聚合，生成全局网络模型，并将全局网络模型广播至已上传局部网络模型更新的抵近无人机；抵近无人机基于局部训练数据集对接收到的全局网络模型更新进行迭代训练，并上传局部网络模型更新至中心无人机；中心无人机将局部网络模型更新进行重新聚合，直至全局网络模型完成设定的迭代次数。本申请的方法可以在所要求的时间内完成一次全局网络模型聚合，实现全局网络模型的在线更新，还能在确保性能的同时减少无线频谱资源的消耗。技术研发人员：王坤,宋晓祥,吴逢川,靳浩,沈义龙,彭锦超,陈帅,刘洪昌,张利强,李路遥受保护的技术使用者：中国人民解放军63891部队技术研发日：技术公布日：2024/11/4