一种基于联邦平均的无人机集群协同几何分区覆盖方法

本发明属于无人机控制领域，特别涉及基于强化学习的联邦平均无人机集群协同几何分区覆盖方法设计。

背景技术：

1、无人机(unmanned aerial vehicle，uav)是指一种无人驾驶的飞行器，它可以实现不同程度的自主性，能够以可控的速度和高度飞行以执行特定的任务，无人机在军事行动领域可用于执行军事侦察与军事打击等任务。在多无人机系统中，所有无人机共同组成一个飞行自组网(flying ad-hoc networks，fanet)。这种网络不依赖于地面的基础设施，网络中每个节点处于平等的地位，有较强的抗毁能力。

2、区域覆盖问题被定义为无人机网络对给定空间的监控问题以及网络内无人机之间的相互协作问题。在军事领域中，由于地理特征、军事力量和敌情威胁等因素，战区被划分为多个子战场，这就要求无人机群能够实现广范围多区域的协作覆盖。

3、针对大规模复杂战场中大面积联合区域覆盖时间开销大、连通性难以保障的问题，本发明提出了一种基于联邦强化学习的多区域协作覆盖方法。协作方法通过对偶双重深度q网络对每个智能体进行分布式训练，并结合联邦聚合更新各智能体的模型参数，加快收敛速度。仿真结果表明，该方法能够实现对大规模目标区域的全覆盖，并且相比较于基线方法有更小的覆盖时间开销和更高的集群网络连通性。

技术实现思路

1、本发明的目的是为无人机群于大规模多子区域环境下执行协作覆盖任务，提供一种无人机集群协同几何分区覆盖方法。该发明在有限数量的无人机情况下能够较好实现对目标区域的全覆盖。以如下的方式来描述这个问题：数量有限的无人机子群在大规模多子区域环境下执行协作覆盖任务，本发明为其提供一种高效分层联合区域覆盖方法，并验证覆盖时间开销及无人机网络的连通性验证均优于现有方法，现在要采用的步骤是：

2、步骤1：将目标区域划分为规则的f块正六边形网格单元子区域，并假设无人机子群平均处于子区域中心的一个点上，由此可以量化无人机子群在示意图中始终位于各子区域的中心点。区域分解模型如图1所示，各个无人机子群中的无人机保持通信与指挥，它们共同组成一个无人机网络。

3、步骤2：计算执行飞行任务时的时间花销。根据所提方法选择下一个即将覆盖的子区域，无人机子群随即移动到该子区域继续执行覆盖任务。从任务开始到完成整个目标区域的覆盖所需的时间记为ti，我们可以认为覆盖任务所需要的总时间实际上就是完成覆盖任务中花销的最大时间，记为tl。

4、步骤3：提出针对覆盖任务的系统优化目标，主要包括无人机子群覆盖当前区域的覆盖率rca、覆盖所有区域所需的时间开销tl，以及各子区域连通性判定。

5、步骤4：针对目前无人机群覆盖目标区域的要求，将该问题建模为部分可观测的马尔可夫决策过程。pomdp(partially observable markov decision process)主要包括状态空间s、观测空间o、动作空间a和奖励函数r等基本要素。其中s与o定义与马尔可夫过程定义一致，动作空间a定义diri为智能体的运动方向，并规定智能体每次的移动距离为常数，该情况下智能体的动作空间表示为：ai＝{dir0，dir1，dir2，dir3，dir4，dir5}，表示6个可能的运动方向。智能体的奖励ri(0≤i＜s)主要由6部分组成，包括覆盖子区域奖励rr、覆盖完成的全局奖励ra、碰撞惩罚rd、移出目标区域惩罚rex、连通性惩罚rco以及时间成本惩罚rt。

6、步骤5：提出d3qn-fed方法。d3qn-fed(dueling double deep q network-federated learning)方法的模型训练框图如图2所示，该方法中采用了fl(federatedlearning)框架。在连续两次使用fedavg更新智能体网络参数期间，每个智能体通过与环境之间的交互进行模型训练。首先，为每个智能体都引入了两个q网络，在连续两次使用fedavg更新智能体网络参数期间，每个智能体通过与环境之间的交互进行模型训练。

7、本发明提出的无人机群的覆盖方法已经通过仿真实验得到了验证，仿真结果表明，所提方法能够实现对大规模目标区域的全覆盖，并且相比较于基线方法有更小的覆盖时间开销和更高的集群网络连通性。附图3给出了奖励随训练时隙变化的曲线。附图4是目标区域中的联合覆盖轨迹。

技术特征：

1.一种面向大规模战场环境的无人机分区协同覆盖方法，所采用的步骤是：

2.根据权利要求1所述，本方法特征在于无人机子群执行任务时间花销量化的具体方法为：

3.根据权利要求1所述，本方法根据目标区域中多个子区域的协作覆盖问题提出具体优化目标的具体方法为：

4.根据权利要求1所述，本方法根据目标区域将多子区域的协作覆盖问题建模为部分可观测的马尔可夫过程的具体方法为：

5.根据权利要求1所述，本方法利用联邦平均和q网络对建立完善的部分可观测马尔可夫过程训练的具体方法为：

6.根据权利要求1所述，本方法解决学习q网络无法唯一确定价值函数和优势函数的不唯一性的具体方法为：

技术总结本发明针对大规模复杂战场中大面积联合区域覆盖时间开销大、连通性难以保障的问题，提出一种无人机分区协同区域覆盖方法。首先，设计了一种基于几何区域划分的分层联合区域覆盖框架，并提出了一种基于联邦强化学习的多区域协作覆盖方法。协作方法通过对偶双重深度Q网络对每个智能体进行分布式训练，并结合联邦聚合更新各智能体的模型参数，加快收敛速度。仿真结果表明，所提方法能够实现对大规模目标区域的全覆盖，并且相比较于基线方法有更小的覆盖时间开销和更高的集群网络连通性。技术研发人员：张莉涓,王雪莹,高攀,宋晓勤,雷磊,林杭,杨芙蓉,赵世宏,鹿宇航受保护的技术使用者：南京航空航天大学技术研发日：技术公布日：2024/6/13