一种基于分支D3QN的星地融合网络计算卸载方法

本发明属于边缘计算，具体涉及一种基于分支d3qn的星地融合网络计算卸载方法。

背景技术：

1、5g以及未来无线通信网络致力于为用户提供随时随地的网络接入服务，然而很多偏远地区，由于地理环境的限制，或者运营商出于经济因素的考虑，并未部署地面网络基础设施。随着卫星通信技术的发展，很多企业正在低地球轨道构建卫星通信网络(如starlink等)，为全球用户提供宽带互联网接入服务。对于没有蜂窝网络覆盖的偏远地区，利用leo卫星星座提供无缝的网络覆盖。

2、在星地融合网络中，地面用户设备计算资源有限，无法处理计算密集型任务，将边缘服务器部署在leo卫星，为用户提供低时延的边缘计算服务。进一步，通过leo卫星中继将计算任务卸载到云端进行处理。因此，集成leo卫星边缘和云中心算力，构建星地融合网络多级协同计算架构，为用户提供计算服务。

3、针对延迟敏感型任务，计算卸载需要考虑任务的处理时延。此外，地面用户设备和leo卫星能源有限，需要考虑用户设备和leo卫星的能耗。很多现有的研究，没有兼顾任务处理时延和系统能耗。地面用户实时产生计算任务，而且leo卫星高速运动，leo卫星与地面用户以及云中心之间的相对位置不断变化，因此星地融合网络计算卸载问题是一个动态决策问题。现有的绝大部分研究，只考虑某一时刻的计算卸载问题，将计算卸载问题看成静态决策问题。

技术实现思路

1、本发明针对上述现有技术中的技术问题，提出了一种基于分支d3qn的星地融合网络计算卸载方法，该方法构建了多级计算架构，旨在解决地面用户计算能力不足的问题，并对整个系统时延和能耗进行优化。

2、本发明为实现上述发明目的，采取的技术方案如下：

3、一种基于分支d3qn的星地融合网络计算卸载方法，包括以下步骤：

4、步骤1：建立星地融合网络多级计算构架的通信模型和计算模型；

5、步骤2：建立星地融合网络计算卸载优化模型；

6、步骤3：构建星地融合网络计算卸载问题的马尔可夫决策过程模型；

7、步骤4：利用分支d3qn算法求解星地融合网络计算卸载问题的mdp模型。

8、进一步的作为本发明的优选技术方案，所述星地融合网络多级计算构架由地面用户、leo卫星星座和云中心组成；地面用户分布在无蜂窝网络覆盖的偏远地区，令i＝{1,…,i,…,i}表示地面用户集合；leo卫星星座确保了地面用户的无缝覆盖，配备了移动边缘计算服务器，为地面用户提供边缘计算服务；云中心拥有充足的计算资源，为地面用户提供云计算服务；星地融合网络多级计算构架以时隙方式运行，令t＝{1,…,t,...,t}表示时隙集合；在时隙t，用户i产生的计算任务表示为qi(t)＝{di(t),ci(t)}，其中di(t)表示任务qi(t)输入数据大小，单位为比特，ci(t)表示处理1比特数据所需的cpu周期数。

9、进一步的作为本发明的优选技术方案，星地融合网络多级计算构架的通信模型为：

10、地面用户设备与leo卫星之间通过ka波段进行通信；采用正交频分多址技术将计算任务数据从用户传输到leo卫星，因此，不同用户之间不存在干扰；采用准静态的衰落信道模型，令gi(t)表示时隙t用户i与leo卫星之间的信道增益；令b0表示分配给每个用户的带宽，pi表示用户i的传输功率，n0表示噪声功率谱密度，则时隙t用户i到leo卫星的上行链路数据速率表示为：

11、

12、当计算任务通过leo卫星中继进一步卸载到云服务器时，leo卫星与云服务器之间的数据速率设为常数，用rc表示。

13、进一步的作为本发明的优选技术方案，所述星地融合网络多级计算构架集成了用户设备本地计算、leo卫星边缘计算以及云计算；

14、当为本地计算：计算任务在用户设备本地处理，总时延只包含计算时延；令fil表示用户设备i的计算能力，单位为cpu周期/s；时隙t用户i的计算任务在本地处理的总时延为：

15、

16、任务在本地处理的能耗表示为：

17、

18、其中，κi为用户设备i的能量因子，与芯片架构相关；

19、当为leo卫星边缘计算：地面用户设备的计算任务卸载到leo卫星边缘进行处理；由于用户设备与leo卫星之间的长传输距离，传播延迟无法忽略；计算任务卸载到leo卫星边缘处理的总延迟包含传输延迟、传播延迟和计算延迟；因为计算结果的数据大小远小于计算任务输入数据的大小，所以返回计算结果的传输延迟忽略不计；令fis(t)表示时隙tleo卫星边缘服务器分配给用户i的计算能力，满足约束：∑i∈ifis(t)≤fs(t)，其中fs(t)表示时隙t为地面提供覆盖的leo卫星总的计算能力；时隙t用户i的计算任务卸载到leo卫星边缘进行处理的总时延为：

20、

21、其中表示时隙t用户设备i与leo卫星之间的距离，c表示光速；计算任务卸载到leo卫星边缘进行处理的能耗表示为：

22、

23、其中，κs(t)为时隙t为地面提供覆盖的leo卫星的边缘服务器的能量因子，与芯片架构相关；

24、当为云计算：地面用户设备的计算任务通过leo卫星中继卸载到云服务器进行处理；由于云中心拥有充足的计算能力和能源提供，所以计算延迟和计算产生的能耗忽略不计；计算任务卸载到云服务器进行处理的总延迟包含传输延迟和传播延迟；时隙t用户i的计算任务卸载到云服务器进行处理的总时延为：

25、

26、其中，dc(t)表示时隙tleo卫星与云服务器之间的距离；计算任务卸载到云服务器进行处理的能耗可以表示为

27、

28、其中，pc表示leo卫星到云服务器的传输功率；

29、令表示时隙t用户i的计算任务是否在本地处理，表示时隙t用户i的计算任务是否卸载到leo卫星边缘处理，表示时隙t用户i的计算任务是否卸载到云中心处理；时隙t用户i计算任务的处理时延和能耗表示为：

30、

31、进一步的作为本发明的优选技术方案，所述星地融合网络计算卸载优化模型为：

32、

33、上述优化模型以总延迟和总能耗为优化目标，目标函数中参数α和β为权重系数，分别表示总延迟和总能耗的相对重要性；约束条件a表示每个任务只能卸载到一个计算节点进行处理；约束条件b为leo卫星边缘服务器的计算容量约束，表示leo卫星边缘服务器分配给卸载任务的计算容量不超过其最大计算容量；

34、当计算卸载决策固定时，得到时隙tleo卫星边缘服务器的计算资源分配问题：

35、

36、上述问题的最优值与时隙t的计算卸载决策有关，表示为因此，原问题(10)转换为：

37、

38、其中

39、进一步的作为本发明的优选技术方案，所述星地融合网络计算卸载优化问题的马尔可夫决策过程模型中状态：时隙t的状态定义为qi(t)为时隙t用户i产生的计算任务，ri(t)为时隙t用户i与leo卫星之间的上行链路数据速率，fs(t)为时隙tleo卫星总的计算容量，为时隙t用户i与leo卫星之间的距离，dc(t)为时隙tleo卫星与云中心之间的距离；

40、所述星地融合网络计算卸载优化问题的马尔可夫决策过程模型中动作：时隙t的动作定义为即时隙t的计算卸载决策；表示用户i的任务是否本地处理，表示用户i的任务本地处理，否则表示用户i的任务是否卸载到leo卫星边缘处理，表示用户i的任务卸载到leo卫星边缘处理，否则表示用户i的任务是否卸载到云端处理，表示用户i的任务卸载到云端处理，否则满足所述星地融合网络计算卸载优化问题的马尔可夫决策过程模型中奖励函数：在当前状态st下执行动作at获得的奖励定义为时隙t总时延和总能耗之和的负逆，具体定义如下：

41、

42、其中，为当前计算卸载决策下leo卫星边缘服务器计算资源分配问题(11)的最优值。

43、进一步的作为本发明的优选技术方案，所述分支d3qn算法在ddqn算法的基础上采用了dueling架构和动作分支架构；

44、采用dueling架构，q网络被分成两个部分：状态值函数网络v(s；θ,α)和动作优势函数网络a(s,a；θ,β)，其中，θ为值函数网络和优势函数网络的公共网络参数，α和β分别为值函数网络参数和优势函数网络参数；最后，通过聚合层组合值函数和优势函数得到q值函数的估计：

45、

46、随着用户数量的增加，动作空间维度呈指数级增长，影响d3qn算法的性能，为此，采用动作分支架构；将用户集合i划分为f个分组，表示为if(1≤f≤f)；优势函数被分为f个分支，每个分支对应一个动作维度af，即一组用户if的计算卸载决策，其优势函数表示为af(s,af；θ,βf)，其中βf为af的优势分支的网络参数，由af的优势函数和值函数可以得到af的q值函数估计：

47、

48、采用ε-greedy策略选择当前状态下要执行的动作，以概率ε随机选择一个动作，以概率1-ε选择：

49、

50、在分支d3qn算法中，td目标定义为所有动作维度上的平均值：

51、

52、其中，θ′,α′,β′为目标q网络参数，γ为折扣率；

53、损失函数计算为：

54、

55、采用梯度下降算法更新q网络参数θ,α,β，以优化损失函数。

56、本发明所述的一种基于分支d3qn的星地融合网络计算卸载方法，采用以上技术方案与现有技术相比，具有以下技术效果：本发明提供了一种基于分支d3qn的星地融合网络计算卸载方法。该方法建立了星地融合网络计算卸载优化模型，旨在通过优化计算卸载和leo卫星边缘计算资源分配，最小化系统时延和能耗的加权和。本发明将星地融合网络计算卸载问题转换为马尔可夫决策过程模型，并提出采用分支d3qn算法进行求解。本发明的基于分支d3qn的星地融合网络计算卸载方法，对于实现星地融合网络多级协同计算，进而支持随时随地的计算密集型和延迟敏感型服务，具有重要意义。