一种好奇心驱动的超图分区卸载算法

本发明涉及算力网络任务卸载领域，尤其是涉及一种好奇心驱动的超图分区卸载算法。

背景技术：

1、随着信息技术的飞速发展，分布式计算和云计算等技术已经成为解决大规模计算需求的主要手段之一。在这种背景下，算力网络作为一种基于分布式计算的新型网络模式，通过整合和共享全球范围内的计算资源，为用户提供了一种高效、灵活的计算解决方案。

2、但由于任务规模和数据量增加，单个零散的算力资源结点往往不能够满足现实中复杂的计算任务，所以如何有效地进行任务卸载和调度成为了算力网络中的重要问题。

3、依赖型任务卸载是将计算任务中的一部分子任务迁移到其他服务器上进行处理的技术，其目的是减轻本地服务器的负载、降低网络延迟，并提高系统性能，如图1所示。当前，依赖型任务卸载已成为边缘计算领域的研究热点之一。研究人员和工程师们致力于开发各种技术和算法，以实现高效的任务卸载和资源利用。其中，任务卸载算法是关键之一，用于确定任务应该被本地执行或者卸载到边缘设备上执行。这些算法考虑任务之间的依赖关系、边缘设备的可用资源以及网络状况等因素，以实现最优的任务卸载策略。

4、一些应用场景对任务的实时性和低延迟要求非常高，例如智能交通、工业自动化和边缘视频分析等。通过任务卸载，可以将任务提交到边缘节点或云端服务器上进行处理，并通过优化网络传输、边缘节点计算和决策算法等方面的方法，实现更快的响应时间和更低的延迟，满足实时性要求。

5、任务关联性与共享性。算力网络(computing power network，cpn)中许多任务具有一定的关联性与共享性，这些性质表现为输入数据、计算需求等方面的相似性。如果将这些任务不加区分的进行卸载会降低资源的利用效率和整体性能。

6、奖励稀疏问题。在任务卸载过程中，智能体所能接收到的奖励信号的范围非常有限，这将导致训练困难和效率低下。

7、专利cn118113367a公开了一种基于超图分区的算力网络任务卸载的方法，属于算力网络任务卸载技术领域，包括以下步骤：步骤1、为任务卸载系统的任务建立超图表征模型；步骤2、建立任务卸载系统中的时延和能耗计算模型；步骤3、建立时延和能耗计算模型的优化目标；步骤4、使用基于超图分区和双层注意力机制的深度强化学习方法在任务卸载系统中学习，训练任务卸载预测网络。

8、相对而言，本发明注意到了强化学习中的奖励稀疏问题，通过引入好奇心模块为智能体训练提供额外的内在奖励信号，引导其作出决策，避免在训练时因为奖励稀疏陷入局部最优解。

技术实现思路

1、本发明的目的在于提供一种好奇心驱动的超图分区卸载算法，解决了算力供需矛盾，提高了探索能力，时延能耗更低。

2、为实现上述目的，本发明提供了一种好奇心驱动的超图分区卸载算法，包括以下步骤：

3、对依赖型任务卸载环境建模，并对建模好的依赖型任务卸载环境设置优化目标和约束条件；

4、其中，依赖型任务卸载环境包括卸载时延模型、卸载能耗模型、调度模型，依赖型任务卸载环境在依赖型任务场景下构建；

5、将用户侧的任务建立为有向无环图dag并转换成超图，使用超图分区算法将任务根据自身属性划分到不同的分区进行卸载；

6、对依赖型任务卸载决策过程进行建模，利用好奇心模块提供的内在奖励信号引导近端策略优化算法进行学习，得到最终好奇心驱动的超图分区卸载算法；

7、其中，对依赖型任务卸载决策过程进行建模基于马尔可夫决策，马尔可夫决策包括状态空间、动作空间、奖励函数。

8、优选的，依赖型任务场景具体包括：

9、用户设备侧的任务建模成一个有向无环图dag，用来表示，其中任务集合i＝1,2,3,…,w，ε代表任务集合中的依赖关系，e(i,j)∈ε代表任务i，j存在依赖关系，子任务wi需要在子任务wj执行完毕以获得子任务wj执行结果；

10、边缘服务器集合表示为其中，0代表任务在本地执行没有被卸载到边缘服务器，每个子任务由一个三元组来描述，表示为wi＝{di,ci,pi}，di为任务的数据量，ci为任务计算所需的cpu周期数，pi为任务调度的决策，每一个子任务选择在用户设备上进行计算，也卸载到某一个边缘服务器上，因此，pi的取值集合为{0,1,2,3,…,m}；

11、在任务卸载过程为静态场景时，根据香农公式计算任务从用户设备i发送到边缘服务器mj之间的传输速率为：

12、

13、其中，b是用户设备i和边缘服务器mj的可用信道带宽，pi为用户设备i的传输功率，hi,j代表两个设备之间的信道增益，n0代表此信道中的高斯噪声功率。

14、优选的，所述卸载时延模型主要涉及任务传输时延和任务执行时延，具体包括

15、子任务wi传输到边缘服务器mj的传输速率记作ri,j，子任务wi的传输时延表示为：

16、

17、子任务wi在边缘服务器mj上运算的cpu频率为fi,j，用户设备的运算频率为fi,0，子任务wi的计算时延表示为：

18、

19、不考虑下载时延，子任务wi的卸载时延表示为：

20、

21、优选的，所述卸载能耗模型主要包括任务的传输能耗和任务的计算能耗，具体包括

22、子任务wi传输边缘服务器mj的传输功率为子任务wi的传输能耗表示为：

23、

24、边缘服务器mj的cpu功率为ρi,j，用户设备的cpu功率为ρi,0，则子任务的运算能耗表示为：

25、

26、不考虑子任务的下载能耗，子任务wi的卸载能耗表示为：

27、

28、优选的，调度模型为边缘服务器mj当前时刻处于空闲状态，子任务wi的所有前置任务均已完成后子任务wi被调度到边缘服务器上并计算任务完成时间，具体包括

29、对于前置子任务约束等待时延，在边缘服务器mj上被计算的子任务wi的所有前置任务的最晚完成时间，表达为下式：

30、

31、其中，是任务wj的完成时间；

32、子任务wi在边缘服务器mj的开始时间为子任务wi的依赖约束时间和边缘服务器mj的空闲时间的较大值，表示为下式：

33、

34、其中，为设备mj的开始空闲时间，即该边缘设备上任务wi的上一个任务wk的实际完成时刻，等于任务wk的实际开始时刻加上任务wk的计算耗时时间，任务wi的完成时刻就表示为：

35、

36、式中，为任务的执行时间，即全部任务的完成时延等于所有任务的完成时刻的最大值。

37、优选的，优化目标和约束总结如下：

38、

39、

40、其中，表示任务wi的前一个卸载任务的卸载完成时间，n表示待卸载的任务数量，约束条件c1表示所有子任务的最早开始时间不能早于时刻0，c2表示子任务开始时其前置任务已经完成，c3表示子任务的开始时服务器必须处于空闲状态，c4表示服务器在同一时刻只能处理一个任务。

41、优选的，状态空间包括状态信息，根据状态信息来完成卸载任务时的决策，

42、其中，状态信息由待卸载任务集合的依赖关系、当前边缘服务器的状态信息、已卸载的任务的能耗时延代价组成，据此任务wi调度前状态信息定义如下：

43、s＝{si|si＝(h(v,e),t1:i,e1:i,eall,tmin)},k＝|v|,i∈[1,|w|]

44、其中，h(v,e)是分区后的超图任务集合矩阵，不同的行代表不同子任务，不同的列分别代表超边，v是点集合，代表待卸载的任务，e是超边集合，代表任务与超边的归属关系，t1:k代表k个任务在每个资源池的时延大小，是一个大小为(v,m)的矩阵，其中m为边缘服务器的数量，e1:k则代表k个任务在每个资源池的能耗大小，大小与t1:k一致，eall、tmin别代表k个任务的总能耗和最早完成时间矩阵，|w|是dag中子任务的数量。

45、优选的，动作空间具体为：

46、每个子任务选择在用户设备上运算或者卸载到边缘服务器，因此动作空间表示为：

47、

48、优选的，奖励函数包括引入好奇心模块计算一次完整的任务调度过程所获得的累积奖励，具体为：

49、在t时刻，智能体根据状态信息做出任务wi调度边缘服务器mj，此时环境会根据任务产生的时延和能耗反馈即时奖励，同时icm也会给予一部分固定奖励，因此t时刻决策的奖励表示为：

50、

51、其中，为调度子任务wi之前整个任务的完成时延，为子任务wi调度边缘服务器mj所产生的时延，为子任务wi的能耗，为子任务wi调度边缘服务器mj所产生的能耗，δ代表好奇心模块提供的内在奖励的比重，rintrinsic为内在好奇心icm产生的内在奖励；

52、一次完整的任务调度过程所获得的累积奖励定义为：

53、

54、其中，γ是折扣因子，取值范围在0到1之间。

55、优选的，好奇心驱动的超图分区卸载算法具体为

56、采用近端策略优化(proximal policy optimization，ppo)作为训练主干网络，通过使用裁剪代理目标函数和值函数估计，具体包括

57、裁剪的过程表示为：

58、

59、clip表示对齐剪裁，rt(θi)的值只能在1+∈,1-∈之间，超过就取1+∈,1-∈；∈为一个设定好的数值，限制rt(θi)的范围；τ为轨迹数据，记录下一组操作，包括状态s，动作a，奖励值r，下一时刻状态s’；表示网络的参数；t表示卸载完成时刻，表示一般优势估计量(generalized advantage estimation，gae)，是一种用于估计优势函数的方法，定义成：

60、

61、v(st+l+1)表示状态st+l+1的值函数估计值，v(st+l)表示状态st+l的值函数估计值，gae通过将一系列时序差分算法(temporal difference，td)误差进行加权累加来计算优势估计，每个td误差都乘以一个权重(γλ)l，其中，折扣因子γ用于衰减未来奖励的重要性，λ是gae的参数，控制估计的偏差和方差的权衡；

62、rt(θi)代表表示在时间步t上应用第i个策略参数θi产生的动作的概率比值，定义为：

63、

64、ppo的损失函数表示为：

65、

66、其中，

67、联立等式裁剪的过程的表达式和ppo的损失函数的表达式，则ppo的整体损失函数定义为：

68、

69、因此，本发明采用上述的一种好奇心驱动的超图分区卸载算法，技术效果如下：

70、(1)本文提出了一种基于超图分区和好奇心机制的边缘计算卸载方案，即hp-icm(hypergraph partitioning-intrinsic curiositymodule)。该方法将依赖型任务建模成有向无环图(directed acyclicgraph，dag)，并通过超图分区的算法将任务划分到不同分区，以提高能效。本文提出的算力交易架构，其以算力市场中的算力成员收益为目标，建立了算力提供侧和算力用户之间的价值传递途径，解决了算力供需矛盾。

71、(2)本文通过引入好奇心机制来解决强化学习过程中的奖励稀疏问题。在智能体与环境互动获得奖励时，综合考虑好奇心提供的内在奖励信号，使智能体在缺少外部奖励信号的情况下仍然能够主动地选择探索未知状态的行为，从而提高探索能力。