一种无人机功率和轨迹协同优化方法

本发明涉及无人通信，具体涉及一种无人机功率和轨迹协同优化方法。

背景技术：

1、物联网作为融合现实世界和数字世界的重要信息网络，在医疗、交通等领域发挥着重要作用；然而，随着移动通信技术的蓬勃发展，无线通信系统的接入用户数量呈爆炸式增长，传统的正交多址接入(orthogonal multiple access,oma)系统已经不能满足系统接入容量日益增大的需求。

2、为了解决系统频谱资源紧缺的问题，提出了非正交多址接入(non-orthgonalmultiple access,noma)这项关键技术；其能够以不同的功率等级区分多个用户，并在时域/码域以叠加编码的形式传输，从而在相同的无线资源上为多个用户同时提供服务。

3、无人机因其低成本、高机动性、按需部署等优势，在无线通讯中可被用作空中基站，灵活地部署在需要通信覆盖的区域，如偏远地区、灾区、热点区域等，并提供快速、可靠、高效的通信服务。

4、鉴于无人机的上述优势，可以通过为无人机配备天线阵列，为灾区大量广泛分布的设备提供无线覆盖。另一方面，noma中的sic技术也能够让众多用户在不同功率级别共享相同的资源块，从而在未来的通信场景中容纳大量用户。

5、尽管无人机辅助蜂窝通信具有上述优点，但它在资源分配问题(包括用户配对、功率分配和用户调度)却更具挑战性；在无人机辅助通讯无线资源分配方面，有人研究了基于无人机的noma物联网，并通过连续凸近似优化了上行链路中系统中的功率分配；有人研究了安全无人机网络中的用户联合调度和轨迹优化，在存在干扰的情况下，系统的总合速率表现更好；有人对无人机辅助oma网络功率的控制与无人机的轨迹进行了联合优化；有人研究了基于多无人机noma中的频率分配和轨迹优化；虽然上述这些研究都研究了无人机辅助noma通讯无线资源分配，然而却没有考虑过无人机辅助fd-noma(full-duplex,fd)的情况。

6、深度强化学习作为一种结合了深度学习和强化学习的机器学习方法；结合了深度学习处理高维度、复杂的原始输入数据的能力，和强化学习在与环境的交互中不断学习和优化自己的行为策略，以获得最大的累积奖励的能力。

7、深度强化学习引入深度学习来对强化学习的策略函数或值函数进行表示和优化，使得智能体可以直接从原始数据中学习决策，且不需要人为设计特征或环境模型；在解决组合优化问题上，相比于传统优化算法，深度强化学习能够利用神经网络的并行计算能力和批处理能力，快速地给出一个次优解；又能够通过不断地与环境交互，收集和利用反馈信息，来更新和改进策略网络，从而提高学习效率和解决质量。

8、为了实现更高的吞吐量和频谱效率，本研究提出了一种多无人机辅助fd-noma通信方案；其次，为了消除通讯过程中存在的干扰并最大化系统的平均合速率，提出了一种二阶段混合动态聚类的方案；最后，提出了一种基于ddpg框架的优化算法，优化了每一时隙无人机的最佳位置和功率分配。

技术实现思路

1、针对现有技术的上述不足，本发明提供了一种无人机功率和轨迹协同优化方法，解决了如何优化无人机的最佳位置和功率分配的问题。

2、为实现上述目的，本发明所采用的技术方案为：

3、提供一种无人机功率和轨迹协同优化方法，其包括以下步骤：

4、s1：引入noma通信技术至无人机物联网中，并结合全双工通信建立多无人机辅助fd-noma模型；

5、s2：建立通信系统模型，其包括若干搭载有noma技术的无人机、若干上行链路的用户和若干下行链路的用户构成的fd-noma通信系统，其中若干无人机为若干上行链路的用户和若干下行链路的用户提供通讯；

6、s3：采用二阶段混合动态聚类的方式对若干上、下行链路的用户进行聚类，并分配无人机对其进行通讯；

7、s4：建立马尔科夫决策过程模型，并基于ddpg算法对无人机的最佳位置和功率进行优化。

8、本发明的有益效果为：

9、1.本方案提出了一种二阶段混合动态聚类的方案：即对所有的用户进行二阶段的动态聚类，并分别应用oma和noma方案来接收信号，以降低通讯过程中存在的干扰水平；同时，提出了一种基于ddpg框架的优化算法，根据上下行用户的聚类结果和实时坐标，优化每一时隙无人机的最佳位置和功率分配，使得总时长内所有用户的总速率最大化。

10、2.多无人机辅助fd-noma模型能够为物联网提供更高的吞吐量和频谱效率；与基于时间和频率复用的传统noma方案不同，基于多无人机辅助的fd-noma能够利用多架无人机通过功率复用的方式，在相同的时间、频率段上为多个上、下行用户提供服务，从而提供更高的数据传输速率、更低的延迟通信和更高的频谱效率。

11、3.ddpg算法是一种基于深度确定性策略梯度的强化学习算法，它可以处理连续动作空间的问题，并输出一个确定的动作；在解决组合优化问题时，能够利用神经网络的并行计算能力和批处理能力，快速地给出一个次优解；又能够通过不断地与环境交互，收集和利用反馈信息，来更新和改进策略网络，从而提高学习效率和解决质量。

技术特征：

1.一种无人机功率和轨迹协同优化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s2中无人机提供通讯的方法包括：无人机在任务周期内以独立的时间频率段运行来对上、下行链路的用户提供通讯服务；对于下行链路传输网络，无人机充当传播者，将数据信号传输给下行链路的用户；对于上行链路传输网络，无人机充当移动基站，从上行链路的用户处采集数据信号；并在无人机传输数据信号的过程中加入人工干扰。

3.根据权利要求1所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s3具体包括：

4.根据权利要求3所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s31具体包括：

5.根据权利要求4所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s313中的更新公式为：

6.根据权利要求5所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s32具体包括：

7.根据权利要求6所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s33具体包括：

8.根据权利要求7所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s4中的马尔科夫决策过程模型包括(s，a，r)三个部分，s为环境状态空间的集合；a为无人机动作空间的集合；r为将环境和无人机动作映射到奖励函数；

9.根据权利要求8所述的无人机功率和轨迹协同优化方法，其特征在于，步骤s4中的ddpg算法包括：评论家目标网络q'、评论家当前网络q、演员目标网络μ'、演员当前网络μ，评论家当前网络在演员当前网络的策略下计算动作值函数，评论家目标网络q'和演员目标网络μ'用于计算和更新目标，评论家当前网络的参数可由损失函数进行更新；

10.根据权利要求9所述的无人机功率和轨迹协同优化方法，其特征在于，损失函数的公式为：

技术总结本发明公开了一种无人机功率和轨迹协同优化方法，其包括引入NOMA通信技术至无人机物联网中，并结合全双工通信建立多无人机辅助FD‑NOMA模型；建立通信系统模型，其包括若干搭载NOMA技术的无人机、若干上行链路的用户和若干下行链路的用户构成的FD‑NOMA通信系统，其中若干无人机为若干上行链路的用户和若干下行链路的用户提供通讯；采用二阶段混合动态聚类的方式对若干上、下行链路的用户进行聚类，并分配无人机对其进行通讯；建立马尔科夫决策过程模型，并基于DDPG算法对无人机的最佳位置和功率进行优化；本方案基于DDPG框架的优化算法，根据上下行用户的聚类结果和实时坐标，优化每一时隙无人机的最佳位置和功率分配，使得总时长内所有用户的总速率最大化。技术研发人员：李新凯,周子轩,孟月,张宏立受保护的技术使用者：新疆大学技术研发日：技术公布日：2024/7/4