基于无人机功率与高度优化的系统高能效通信算法研究

本发明属于无人机通信，具体涉及基于无人机功率与高度优化的系统高能效通信算法研究。

背景技术：

1、随着物联网的迅速发展，海量接入和与日俱增的数据传输需求对通信速率提出了更高要求；在物联网海量传感器接入和数据收集场景中，空天地通信网络扮演着关键角色；空天地通信网络是指由地面传感器、无人机、卫星等多种载荷组成的异构通信网络，可以实现空间、地面、海洋等多维度的信息采集、传输和处理，为智能物联网提供支持；然而，传统的地面传感器-卫星通信链路通信距离远，存在信号衰减大、通信速率低且易中断等问题，这对传感器-卫星通信链路的稳定性与可靠性构成威胁；幸运的是，无人机中继通信技术的迅猛发展为解决传感器与卫星之间的通信困境提供了新的机遇；无人驾驶飞行器(uav)，通常称为无人机，因其卓越的自主性、灵活性和广泛的应用领域，近年来备受学术界和工业界的关注。无人机最初被设计为飞行机器人，因此，传统上围绕无人机的研究主要集中在其导航、控制和自主飞行能力上。随着技术的飞速发展，无人机在无线通信领域的应用逐渐成为现实；无人机具有灵活机动、快速部署和经济实惠等特点，为各行业提供了可靠高效的无线通信解决方案；尤其是在人流密集的活动现场等通信热点区域，无人机作为临时基站的角色，能够有效分流巨大的数据流量，缓解网络压力。

2、然而，无人机也是能量受限平台，这意味着无人机能够提供用于通信的能量有限，限制了通信传输速率的提升。面对海量数据传输需求，如何有效利用无人机有限的可用通信功率，提高数据传输速率，成为了解决的问题；针对这一问题，现有研究主要集中在传统的凸优化算法上，根据问题的性质和特点选择适当的凸优化算法如内点法、拉格朗日乘子法等，通过迭代地调整资源分配策略，直到求解出满足系统性能要求和约束条件的最优解。

3、传统的凸优化方法虽然在理论和实践中都取得了一定的成果，但处理实际问题时仍面临一些挑战；例如，当原问题的结构复杂时，需要将其分解为更易于处理的子问题；实际问题往往是非凸的，需要将其转化为凸问题，转化过程不仅涉及复杂的数学推导，而且使用较多近似与替换，导致最优或次优解与真实最优解集有较大误差；为此我们提出基于无人机功率与高度优化的系统高能效通信算法研究，相比之下，强化学习算法提供了一种全新的思路，它被视为“黑箱”模型，能够自动从环境中进行学习，无需人为进行复杂的数学推导和问题转化；这种方法不仅能应对复杂的非线性优化问题，还具有更高的灵活性和自适应性，因此在解决通信系统资源分配问题时，可能会提供更为有效和普适的解决方案；通过使用深度确定性策略梯度算法(ddpg)，训练得到策略探索与学习的平衡，以及长期奖励积累的学习，实现无人机作为地面传感器至卫星通信链路的中继节点情景下对通信资源的有效管理和调度，提升空天通信系统的能效，从而有效解决地面传感器与卫星之间的通信困境。因此本发明提供的优化算法研究具有重要的理论意义和实际应用价值。

技术实现思路

1、本发明的目的是提供基于无人机功率与高度优化的系统高能效通信算法研究，面向利用无人机作为中继节点，将地面传感器的数据传输到卫星，构建了基于无人机功率与高度联合优化的新型空天地通信网络系统高能效通信算法。分别建立了地面传感器到无人机信道模型与无人机到卫星信道模型，表示了通信系统吞吐量与能效，定义了优化问题。构建强化学习环境并采用深度确定性策略梯度算法进行仿真，在得到较优结果的同时有效避免了传统凸优化方法转化过程困难与计算复杂的问题。仿真结果表明，本发明提出的算法能够在不同的系统条件下稳定地优化无人机的飞行轨迹和功率分配，提高系统的能效。同时，算法的鲁棒性确保了在不同的初始设置下都能找到最优解。为由地面传感器-无人机-卫星组成的新型空天地通信系统通信资源分配问题提供了一个有效的解决方案。

2、本发明采取的技术方案具体如下：

3、基于无人机功率与高度优化的系统高能效通信算法研究，包括以下步骤：

4、步骤1：建立空天地通信系统模型；

5、步骤2：在空天地通信系统模型基础上，确定目标函数和约束条件，列出优化问题；

6、步骤3：针对优化问题提出算法；具体采用深度强化学习方法对优化问题进行求解。

7、优选地，所述步骤1中，所述空天地通信系统模型包括一个卫星、一个无人机以及k个地面传感器，无人机充当空中基站，从地面用户收集数据并转发到卫星。假设无人机上安装的基站采用全双工模式运行。

8、用集合k∈{1,2,...,k}表示k个位于地面上的用户，其中每个用户具有固定的坐标无人机经历时间t从起始位置到终止位置，途中对地面传感器进行数据收集并转发到卫星上；将无人机的飞行时间t分为n(0≤n≤n)个相等的时间间隙，每个时隙大小为δt，假设无人机的发射功率与位置在每个时隙内保持恒定；因此，卫星、无人机和k个地面传感器在时隙n的三维坐标可以分别表示为qs[n]＝(xs,ys,h)，qu[n]＝(xu,yu,zu[n])和qk[n]＝(xk,yk,0)；则在时隙n无人机到卫星与无人机到地面传感器的距离可以分别表示为：

9、

10、

11、优选地，所述步骤1中，建立地面传感器到无人机信道模型，将地面传感器与无人机之间的通信链路视为视距链路，即直射传输路径；然后，通信信号直接从发射端传输到接收端，没有经过障碍物的反射或散射；并且，虽然无人机在飞行过程中相对于地面传感器具有一定的速度，这种相对运动会引起多普勒效应，但采用现有的频率同步算法可以补偿无人机与地面传感器相对运动引起的多普勒效应。

12、优选地，所述步骤1中建立的地面传感器到无人机信道模型如下：综上，在本发明中，假设接收端实施了一些有效的自干扰消除技术来减少干扰的影响，建模时忽略多普勒效应和多径效应等小尺度衰落，仅考虑大尺度衰落中的路径损耗；无人机在时隙n时到地面传感器k的信道增益可以表示为：

13、

14、其中，表示参考距离下的平均信道功率增益；

15、本发明假设地面传感器传输功率为定值p，则在时隙n时，地面传感器k到无人机的数据传输速率为：

16、

17、其中，σ2表示地面传感器的加性高斯白噪声功率，bk表示地面传感器k到无人机链路的带宽。

18、优选地，所述步骤1中，还建立无人机到卫星信道模型，在无人机与卫星之间的通信系统中，无人机通常在空旷的高度飞行，因此减少了地面障碍物对信号传输的影响；无人机与卫星之间的连接是光瞄准的，即它们之间的通信依赖于视距链路；在这种情况下，无人机与卫星之间通信信道的特性和传输性能多与无人机到卫星的距离有关，距离越远，信号衰减越严重。

19、设无人机在时隙n的发射功率为则卫星在时隙n接收功率为：

20、

21、其中，和分别为无人机的发射天线增益和卫星的接收天线增益。c是光速。fs为载波频率。因此，无人机到卫星的传输速率为：

22、

23、其中，bs表示无人机到卫星链路的载波带宽，kb为玻尔兹曼常数，ts为系统噪声温度。

24、优选地，所述天地通信系统模型中还设有系统吞吐量与能量模型，所述系统吞吐量与能量为k个地面传感器到无人机的数据传输速率之和：

25、

26、本发明涉及的系统中，在无人机飞行时间一定的情况下，地面传感器以及无人机的功率直接影响到系统的能耗情况，因此，在分析系统的能耗时，直接用功率对其进行表示，而不额外考虑时间因素带来的影响；将无人机通信能耗与地面传感器通信能耗加和得到本系统的能耗，将其表示为：

27、

28、则系统能效为：

29、

30、优选地，所述步骤2中，由于无人机作为中继进行数据收集，目标是通过对无人机进行高度轨迹规划以及对无人机功率进行合理分配，在保证无人机不成为过载平台的情况下，最大化系统能效，则该系统可以表示为以下优化问题：

31、

32、其中，约束c1确保无人机在规定的安全可控高度范围内飞行；约束c2限制了无人机的发射功率，防止能源过度消耗的同时还能延长无人机的作业时间；约束c3规定了传感器到无人机的最小数据传输速率rmin，以便于实现无人机和地面传感器之间有效的数据交换；约束c4表示无人机收集数据量要达到每个地面传感器的最低数据量dk，以完成其数据收集任务；约束c5表示无人机与卫星之间的数据传输速率大于传感器与无人机之间的数据传输速率，以保证数据传输的可靠性。

33、优选地，所述步骤3中，采用深度强化学习方法对问题(10)进行求解；针对当前问题，定义如下强化学习环境，该环境中包含智能体、状态空间s、行为空间a、奖励r；

34、所述智能体对应无人机；所述状态空间s对应无人机的悬停位置高度与发射功率，s＝{zu,pu}；所述行为空间a对应无人机可以执行的所有动作：在一定范围内调整无人机的飞行高度与发射功率。行为空间是连续的；所述奖励r是无人机的特定行为会在当前时刻获得奖励，奖励值为系统当前时刻的能效/107；但当无人机超出预定飞行区域或违背其他约束条件时，将获得负奖励，值为-100。

35、优选地，所述步骤3中，深度强化学习利用神经网络拟合状态动作价值函数，并根据状态价值函数指导对象运动，更好地处理优化过程中的动态问题；由于本发明中所有涉及的决策变量都是连续的，因此选用深度确定性策略梯度(ddpg)算法求解问题。

36、一本发明取得的技术效果为：

37、本发明面向利用无人机作为中继节点，将地面传感器的数据传输到卫星，构建了基于无人机功率与高度联合优化的新型空天地通信网络系统高能效通信算法。分别建立了地面传感器到无人机信道模型与无人机到卫星信道模型，表示了通信系统吞吐量与能效，定义了优化问题。构建强化学习环境并采用深度确定性策略梯度算法进行仿真，在得到较优结果的同时有效避免了传统凸优化方法转化过程困难与计算复杂的问题。仿真结果表明，本发明提出的算法能够在不同的系统条件下稳定地优化无人机的飞行轨迹和功率分配，提高系统的能效。同时，算法的鲁棒性确保了在不同的初始设置下都能找到最优解。为由地面传感器-无人机-卫星组成的新型空天地通信系统通信资源分配问题提供了一个有效的解决方案。