一种基于模仿学习的服务迁移和资源优化方法

本发明涉及边缘网络领域，尤其是涉及一种基于模仿学习的服务迁移和资源优化方法。

背景技术：

1、随着用户规模的激增和新型应用的发展，沉重的负载压力和良好的网络性能之间的矛盾日益突出，计算和数据处理逐渐向网络边缘转移。然而，边缘网络有限的资源难以满足任务处理对计算和存储资源的巨大需求，边缘节点的管理和资源分配也是一个亟待解决的难题。用于部署和编排容器的kubernetes框架为解决上述问题提供了新思路，为了提高kubernetes框架与边缘网络的适配性，满足服务对异构资源的需求，解决模型训练样本有限的问题，本发明提出了一种多用户接入的分布式服务迁移架构并设计了一种基于模仿学习和扩散模型的kubernetes边云资源调度器。

技术实现思路

1、本发明的目的在于提供一种基于模仿学习的服务迁移和资源优化方法，在边缘云计算框架下，应用容器化技术和模仿学习算法解决训练样本有限的边云资源协同分配和服务迁移调度问题。通过考虑利用边缘侧的计算和存储资源，基于边缘网络和云中心的网络状况及服务的性能需求对来自用户的服务请求进行分解迁移调度，进而提出了一个多用户接入的分布式服务迁移架构和边云协同服务迁移机制，实现了kubernetes框架下的服务集群长期最大服务吞吐率的最大化和服务处理时延的最小化。

2、为实现上述目的，本发明提供了一种基于模仿学习的服务迁移和资源优化方法，包括专家模型和代理模型，

3、专家模型观察网络状态和服务需求根据决策目标做出决策获得专家数据集；

4、在云中心对代理模型基于专家数据集进行预训练，训练完毕后将代理模型放置在边缘网络中进行决策应用并收集决策相关数据生成代理数据集；

5、将代理数据集输入到专家模型中，专家模型基于代理数据集根据决策目标做出决策获得新的专家数据集并输入到代理模型中，用新的专家数据集重新训练来更新代理模型；

6、上述过程为一个循环，每次循环结束可以得到当前网络条件下的最优决策模型，通过迭代循环更新决策模型来适应网络的动态变化；

7、利用更新的决策模型完成服务迁移和资源优化。

8、优选的，所述决策目标为长期平均吞吐率最大化和长期平均服务处理时延最小化，通过合理的简化，转换为最小化单位时隙内任务执行时延和最大化单位时隙内设备吞吐率，基于函数性质和矛盾性证明可得到，迁移处理部分时延与未迁移处理部分时延绝对值相差最小时，总任务处理时延最小，同时需要满足任务处理的时延限制，优化公式转换为：

9、

10、式中，为在节点ej上处理未迁移部分服务s'i(t)的服务处理时延，为在云节点c上处理迁移部分服务s”i(t)的服务处理时延，si为用户提交的服务，s为用户提交的待处理服务集合，为时延限制。

11、优选的，所述在节点ej上处理未迁移部分服务s'i(t)的服务处理时延为

12、

13、式中，为服务处理时延，表示节点ej分配给服务s'i(t)的计算资源，计算公式为：

14、

15、式中，μi(t)为服务迁移率；

16、为镜像拉取时延，包括下载时延和等待时延为

17、

18、式中，为镜像需求，为下载速率，为节点处理传输请求的等待时延；

19、在云节点c上处理迁移部分服务s”i(t)的服务处理时延由数据传输时延和服务处理时延组成，传输数据时需要提交传输请求，因此还包括节点处理传输请求的等待时延默认云中心缓存了所有的数据包，因此没有数据包获取时延

20、

21、其中，vjc表示节点ej和云中心节点c之间的传输速率，表示云中心节点c分配给服务s”i(t)的计算资源，表示数据大小，表示计算需求。

22、优选的，将服务迁移至云服务器处理需要基于服务迁移率，服务迁移率的下界为：

23、

24、服务迁移率的上界为：

25、

26、最佳服务迁移率为：

27、

28、因此，服务迁移率计算公式为：

29、

30、优选的，在专家模型中输入服务队列s(t)和设备队列e(t)，针对每个服务si(t)对所有设备ej(t)进行遍历，计算任务迁移率和服务处理收益rij(t)，在所有决策中选取服务处理收益最大的决策作为服务的最优卸载决策vi(t)；

31、遍历结束后，将服务的最优卸载决策与设备的最优处理决策进行匹配，如果匹配成功，则将该服务卸载到对应设备上处理，否则，调整最优卸载决策和最优处理决策后重新匹配，直至匹配成功，所有服务决策完成后，输出专家数据集γ(t)。

32、优选的，在云中心对代理模型基于专家数据集进行预训练，训练完毕后将代理模型放置在边缘网络中，代理模型输出代理数据集；将代理数据集输入到专家模型中，输出新的专家数据集，用新的专家数据集重新训练来更新代理模型，具体为

33、训练部分包括策略生成器g和策略判别器d，给定判别器d，生成器g通过强化学习学习策略网络，并通过d计算奖励函数判断训练样本与专家样本之间的相似度，优化生成器g；给定生成器g，判别器d将专家数据作为正样本，将生成器g生成的训练数据作为负样本，判定二者的相似程度，生成器g和判别器d相互博弈提升。

34、优选的，所述判别器d是一个二分类器，损失函数定义为：

35、

36、其中，ωi为样本标签，正样本标签为1，负样本为0；pi为训练样本i预测为正样本的概率，n为样本数量。

37、优选的，所述生成器g中引入生成式扩散模型，生成器g观察当前网络环境，在专家数据集中找到最优策略，在前向传播的过程中每隔一定时隙t产生高斯噪声，加入到最优策略中，基于最优策略预测噪声，计算损失函数更新网络，噪声产生公式为：

38、

39、其中，at为加入噪声后的策略，ae为最优策略，δ为随机生成的噪声，τi为噪音的方差，损失函数为：

40、l(θ)＝e[||a-aτ||2]

41、式中，a为预测的策略，aτ为实际加入噪声后的策略，e为数学期望。

42、优选的，所述生成器g和判别器d的博弈提升过程建模为极大极小优化，优化目标为：

43、

44、式中，d(x)是判别器判定x为正样本的概率，为log d(x)的期望，为生成器生成的策略判定为正的期望。

45、优选的，利用决策模型完成服务迁移和资源优化共三个步骤：输入-执行-输出；

46、输入：服务处理需要输入服务数据及处理服务所需的镜像，边缘节点未缓存所需镜像时，从网络中拉取镜像资源后处理服务；

47、执行：master节点计算服务迁移率μi(t)∈[0,1]分解服务并分配任务处理节点，

48、μi(t)＝0，服务在边缘节点处理；μi(t)＝1，服务在云节点处理；0<μi(t)<1，迁移部分在云节点处理，不迁移部分在边缘节点处理；

49、输出：迁移部分和未迁移部分服务均处理完成后，将处理结果传输返回用户端，完成服务处理。

50、因此，本发明采用上述的一种基于模仿学习的服务迁移和资源优化方法，技术效果如下：

51、(1)为了缓解网络负载压力，满足服务质量的高需求，数据计算和请求处理逐步向网络边缘迁移，缩短处理位置与终端用户的距离，提高服务处理效率。然而边缘网络的资源有限，节点管理和资源分配问题难以解决。容器化技术为解决边缘计算中的资源管理和调度问题提供了新的视角。kubernetes作为容器编排和部署平台，如何提高与边缘网络的适应性和灵活性，满足服务对异构资源的需求，解决训练样本规模与决策模型性能之间的矛盾成为亟待解决的难题。

52、(2)本发明实现了一种基于模仿学习的kubernetes边云资源调度器，调度器根据边缘侧和云端的网络优势及服务需求，对用户产生的服务进行分解迁移，通过云边并行处理提高任务处理效率。利用模仿学习在小样本训练方面的优势，实现基于小规模训练样本的决策模型性能的提升。引入生成式扩散模型降低边缘侧有限的计算存储资源对模型性能的影响，最终实现了长期集群吞吐率最大化和服务处理时延最小化。