一种多目标场景下基于分层优化的多无人机协同航迹规划方法

本发明属于无人机控制领域，特别涉及基于深度强化学习的多无人机协同航迹规划方法设计。

背景技术：

1、随着无人机技术的快速发展，无人机集群的协同操作将应用于城市交通管理、灾难救援、智能物流等领域，为人们的生活和工作带来便利和安全保障。无人机广泛应用的背后离不开航迹规划技术的支持.和单无人机航迹规划相比，多无人机协同航迹规划问题变得更加困难和复杂.无人机不仅需要时刻躲避环境中的障碍物，而且还要实时确保各架无人机之间的安全距离，避免碰撞和冲突.在人工智能的学习式航迹规划方法中，多智能体强化学习方法表现出了较强的性能.其中，常用的方法有混合q网络(qmix)，量化转换网络(qtran)和多智能体深度确定性策略梯度(maddpg)等.然而，在应用无人机执行电子侦察，分布式打击，地质勘测等多目标任务场景时，如果使用集中式的思路解决此类问题，即中央控制器既负责任务分配又负责航迹规划，问题求解时间将随着任务数量成倍增加；如果对每架无人机使用独立方法，例如使用ddpg或td3单独训练，则无人机之间会失去协同性.

2、因此，本发明基于深度强化学习，针对多目标场景下多无人机航迹规划问题，提出了一种基于分层优化的多智能体深度确定性策略梯度方法。本发明所提方法能够通过一种分层次的分布式体系架构，将多目标任务分配和多无人机航迹规划进行解耦，不仅为多无人机系统实现任务的实时动态分配，还为无人机提供了更强的航迹规划能力.

技术实现思路

1、本发明的目的是为多无人机在多目标场景下执行各种任务，提供一种高效且泛化能力强的航迹规划方法.该方法将多无人机航迹规划和任务分配进行联合优化，使用分层体系架构，即上层使用粒子群优化方法进行多任务的实时动态分配，下层使用基于长短期记忆网络(long short-term memory，lstm)的maddpg方法进行多无人机航迹规划。为了实现该目的，本发明所采用的步骤是：

2、步骤1：根据多目标场景下分布式多无人机协同航迹规划任务场景，提出无人机航迹规划整体代价，并结合任务约束条件，将任务分配过程建模为特定的优化问题.无人机航迹规划整体代价由收益函数、威胁代价和航迹代价三个部分组成.

3、步骤2：通过粒子群优化方法完成无人机航迹规划过程中对目标的最优分配.粒子群优化方法接收当前可用的无人机的状态、剩余目标的状态和约束条件作为输入，输出多目标分配的结果给下层多无人机肮迹规划方法.

4、步骤3：建立无人机的运动学模型。在笛卡尔坐标系中，无人机的初始位置可用(x0，y0，z0)表示；为了方便问题的求解，将无人机的飞行高度固定为一个常数ch，使得无人机的位置只在x-y平面上变化；考虑无人机连续变化的动作空间，通过定义无人机的速度v和航向角θ，更新无人机的位置.

5、步骤4：考虑到本任务环境中无人机拥有的是不完全的环境信息，同时根据强化学习的相关理论知识，将多无人机协同航迹规划问题建模成为部分可观测马尔可夫决策过程(partially observable markov decision process，pomdp)。在mdp的基础上，pomdp由元组<s，a，p，r，z，o，γ>描述.

6、步骤5：在原始maddpg方法的基础上，提出一种基于长短期记忆网络的maddpg航迹规划方法(maddpg-lstm)，以便更好地预测环境信息，帮助无人机进行航迹规划.maddpg方法是在ddpg方法的基础上，通过集中式训练，分布式执行的框架，利用所有无人机的观测信息进行神经网络参数的训练，进而解决了无人机局部观测存在缺陷的问题。

7、本发明提出的多目标场景下基于分层优化的多无人机协同航迹规划方法的有效性已通过仿真实验得到了验证。其中，仿真环境面积为1500×1500m2，障碍物密度为0.3，无人机数量为3个。附图2和附图3分别给出了本发明所提方法与基线方法(maddpg)在不同障碍物密度下的平均成功率和平均耗时结果图；附图4和附图5分别给出了本发明所提方法与基线方法(maddpg)在不同目标数量下的平均成功率和平均耗时结果图.

技术特征：

1.一种多目标场景下基于分层优化的多无人机协同航迹规划方法，所采用的步骤是：

2.根据权利要求1所述方法，其特征在于将任务分配过程建模为特定的优化问题的方法为：

3.根据权利要求1所述方法，其特征在于基于上层粒子群动态分配目标的方法为：

4.根据权利要求1所述方法，其特征在于无人机的运动学模型构建的方法为：

5.根据权利要求1所述方法，其特征在于将多无人机协同航迹规划问题建模成为部分可观测马尔可夫决策过程的方法为：

6.根据权利要求1所述方法，其特征在于下层多无人机航迹规划的方法为：

技术总结本发明公开了一种多目标场景下基于分层优化的多无人机协同航迹规划方法.本发明属于无人机控制领域，主要解决了分布式多无人机在多目标场景下实时避障并协同完成航迹规划的问题。所提方法采用分层体系架构，将多无人机航迹规划和任务分配进行联合优化。在上层，通过将任务分配过程建模为特定的优化问题，利用粒子群优化方法进行多任务的实时动态分配。在下层，将多无人机协同航迹规划问题建模成为部分可观测马尔可夫决策过程，利用深度强化学习对问题进行求解。通过为Actor网络融入长短期记忆网络，有效提高了无人机的行为决策能力.本方法确保多无人机系统实现任务的实时动态分配的同时，获得了更强的航迹规划能力，仿真实验证明了该方法的有效性和鲁棒性。技术研发人员：张莉涓,林杭,雷磊,鹿宇航,宋晓勤,赵世宏,彭佳宾受保护的技术使用者：南京航空航天大学技术研发日：技术公布日：2024/7/11