一种容器化微服务智能协同编排方法及装置

本发明涉及微服务 ，尤其涉及一种容器化微服务智能协同编排方法及装置。

背景技术：

1、随着物联网应用复杂性快速增加，具有更高灵活性的微服务架构逐渐取代了传统的单体架构。容器技术因其轻量级、易移植、启动快和安全隔离等特点，成为微服务部署的首选。然而，容器化服务在启动时需要从镜像仓库拉取并安装容器镜像，将会产生启动延迟。在带宽受限的边缘计算中，其启动时延会显著影响服务质量。另外，在微服务架构中，应用被解耦为多个小而自治的微服务，通过轻量化通信组成具有多链的有向无环图结构，微服务的完成需要考虑执行顺序和并行计算，由此引发了容器化微服务的两个优化目标，即服务完成时延和系统负载均衡。虽然通过对容器化微服务进行编排可以来优化这些优化目标，也即通过编排可以降低容器化微服务的完成时延或者保证系统负载均衡。但这两个优化目标是矛盾的，因为只考虑时延可能会导致系统负载不均衡，减少服务完成时延对服务使用方有利，而保证系统负载均衡则对服务提供方有利，因此这样的矛盾会影响服务性能和增加管理成本。

2、现有技术中一般采用标量化方法将多个优化目标转换为单目标来优化，从而设计出针对容器化微服务智能协同编排方法，但针对多个互相矛盾优化目标同时进行优化时，也即在容器化微服务编排时既要考虑应用完成时延又要考虑系统负载均衡，标量化方法存在局限性且优化效果低下，无法达到平衡服务完成时延和系统负载均衡的优化效果。

技术实现思路

1、本发明提供一种容器化微服务智能协同编排方法及装置，用以解决现有技术在采用标量化方法对容器化微服务进行编排时，难以平衡服务完成时延和系统负载均衡两个优化指标，导致微服务架构系统的服务性能低下以及增加管理成本的技术问题。

2、本发明提供一种容器化微服务智能协同编排方法及装置，包括如下步骤：

3、确定所述微服务架构系统的服务完成时延指标，并根据所述微服务架构系统的环境信息，确定所述微服务架构系统的系统负载均衡指标，所述服务完成时延指标是所述微服务架构系统处理用户服务请求的所需时间，所述系统负载均衡指标用于表征所述微服务架构系统在处理用户服务请求时的系统负载不均衡程度；

4、基于所述服务完成时延指标以及所述系统负载均衡指标，对所述初始化编排模型进行编排训练，得到微服务编排模型；

5、当所述微服务架构系统获取到用户服务请求时，获取所述用户服务请求的请求状态信息，其中，所述请求状态信息包括目标微服务以及用户偏好特征，所述目标微服务为所述微服务架构系统处理用户服务请求时需部署的容器化微服务，所述用户偏好特征用于表征用户针对服务完成时延指标以及系统负载均衡指标的偏好程度；

6、将所述请求状态信息输入到所述微服务编排模型进行策略编排处理，得到针对所述目标微服务的编排策略；

7、根据所述编排策略对所述容器化微服务进行部署，并通过微服务架构系统运行部署后的所述容器化微服务，以处理所述用户服务请求。

8、在一些实施例中，所述微服务架构系统包括终端层、边缘层以及镜像层，所述终端层包括将用户服务请求拆分得到的多个容器化微服务，所述边缘层包括多个边缘节点，所述镜像层包括多个容器镜像，所述容器镜像用于将所述容器化微服务部署到所述边缘节点进行执行，所述确定所述微服务架构系统的服务完成时延指标，包括：

9、当将所述容器化微服务部署到所述边缘节点时，在所述边缘节点中，确定所述容器化微服务从所述镜像层拉取容器镜像的镜像拉取时间；

10、当所述容器化微服务拉取到容器镜像之后，确定所述边缘节点处理所述容器化微服务的服务处理时间，并确定所述边缘节点之间的数据传输时间；

11、根据所述镜像拉取时间、所述服务处理时间以及所述数据传输时间，确定所述微服务架构系统的服务完成时延指标。

12、在一些实施例中，所述微服务系统架构包括边缘层，所述边缘层包括多个边缘节点，所述环境信息包括每个所述边缘节点的剩余计算资源以及剩余内存，所述根据所述微服务架构系统的环境信息，确定所述微服务架构系统的系统负载均衡指标，包括：

13、针对每个所述边缘节点，根据所述剩余计算资源确定负载计算资源，并根据所述剩余内存确定负载内存；

14、确定所述边缘节点的负载计算资源的第一平均值，并确定所述边缘节点的负载内存的第二平均值；

15、根据所述第一平均值以及所述第二平均值确定所述微服务架构系统中边缘节点的总负载平衡值，并将所述总负责平衡值的均值作为所述微服务架构系统的系统负载均衡指标。

16、在一些实施例中，所述初始化编排模型包括策略网络和评判网络，所述初始化编排模型的训练过程是按照训练时间步进行的，所述基于所述服务完成时延指标以及所述系统负载均衡指标，对所述初始化编排模型进行编排训练，得到微服务编排模型，包括：

17、获取环境状态数据，其中，所述环境状态数据包括目标服务请求以及偏好向量，所述偏好向量是根据时延权重以及负载权重构建得到的，所述时延权重表征所述目标服务请求针对所述服务完成时延指标的偏好程度，所述负载权重表征所述目标服务请求针对所述系统负载均衡指标的偏好程度；

18、在当前训练时间步，将所述环境状态数据输入到所述策略网络中，生成动作设计数据，并调用所述评判网络对所述环境状态数据进行预测，生成针对所述动作设计数据的预期奖励向量值，其中，所述动作设计数据用于表征边缘节点部署动作，所述边缘节点部署动作是所述微服务架构系统处理所述目标服务请求时，将终端层的容器化微服务部署到边缘层中边缘节点的部署动作，所述当前时间步是编排训练过程中的任意一个训练时间步；

19、根据所述动作设计数据构建所述初始化编排模型的策略损失值，并根据所述动作设计数据以及所述预期奖励向量值构建所述初始化编排模型的值函数损失值；

20、将所述策略损失值与所述值函数损失值的加和，作为所述初始化编排模型在所述当前训练时间步内的最终损失值，并通过所述最终损失值训练所述初始化编排模型，得到微服务编排模型。

21、在一些实施例中，所述根据所述动作设计数据构建所述初始化编排模型的策略损失值，包括：

22、获取策略网络在当前训练时间步生成动作设计数据时的预测概率，并根据所述预测概率确定策略网络在训练时间步之间的策略幅度值；

23、在当前训练时间步内，分别确定服务完成时延指标和系统负载均衡指标的广义优势估计值；

24、根据所述广义优势估计值与所述环境状态数据包括的偏好向量，确定所述初始化编排模型的策略网络针对所述服务完成时延指标的时延优势值，以及所述策略网络针对所述系统负载均衡指标的负载优势值；

25、根据所述时延优势值与所述负载优势值，确定得到所述策略网络的优势函数值；

26、根据所述优势函数值以及所述策略幅度值构建得到所述初始化编排模型的策略损失值。

27、在一些实施例中，根据所述动作设计数据以及预期奖励向量值构建所述初始化编排模型的值函数损失值，包括：

28、在当前训练时间步内，通过微服务架构系统执行所述动作设计数据，并记录执行所述动作设计数据的当前经验轨迹，其中，所述当前经验轨迹包括所述动作设计数据、偏好向量、预期奖励向量值；

29、根据所述当前经验轨迹，确定微服务架构系统针对服务完成时延指标以及系统负载均衡指标的总收益值，并确定所述总收益值的折扣收益值；

30、确定当前训练时间步内的累计奖励向量值，并确定所述累计奖励向量值与所述折扣收益值的差值的平均值；

31、根据所述差值的平均值以及所述偏好向量，构建得到所述初始化编排模型的值函数损失值。

32、在一些实施例中，所述根据所述当前经验轨迹，确定微服务架构系统针对服务完成时延指标以及系统负载均衡指标的总收益值，包括：

33、获取服务完成时延指标以及系统负载均衡指标的奖励向量值；

34、根据所述当前经验轨迹中包括的偏好向量以及所述奖励向量值，确定线性奖励标量值；

35、确定微服务架构系统在执行所述当前经验轨迹对应的动作设计数据时，因执行约束部署动作后获得的惩罚值；

36、将所述线性奖励标量值与所述惩罚值的差值作为微服务架构系统针对服务完成时延指标以及系统负载均衡指标的总收益值。

37、在一些实施例中，在记录执行所述动作设计数据的经验轨迹之后，所述方法还包括：

38、将所述当前经验轨迹存储到历史经验轨迹库中，其中，所述历史经验轨迹库用于存储所述初始化编排模型在先前训练时间步记录的历史经验轨迹，所述先前训练时间步为在所述当前训练时间步之前的任意一个训练时间步；

39、根据历史经验轨迹以及当前经验轨迹确定微服务架构系统针对服务完成时延指标以及系统负载均衡指标的总收益值，并根据所述总收益值，构建得到所述初始化编排模型的值函数损失值；

40、其中，所述历史经验轨迹包括历史环境状态数据，所述当前经验轨迹包括当前环境状态数据，所述历史环境状态数据中的历史目标服务请求与所述当前环境状态数据中的当前目标服务请求相同，所述历史环境状态数据中的历史偏好向量与所述当前环境状态数据中的当前偏好向量不同。

41、本发明还提供一种容器化微服务智能协同编排装置，装置具体包括如下模块：

42、确定模块，用于确定所述微服务架构系统的服务完成时延指标，并根据所述微服务架构系统的环境信息，确定所述微服务架构系统的系统负载均衡指标，所述服务完成时延指标是所述微服务架构系统处理用户服务请求的所需时间，所述系统负载均衡指标用于表征所述微服务架构系统在处理用户服务请求时的系统负载不均衡程度；

43、训练模块，用于基于所述服务完成时延指标以及所述系统负载均衡指标，对所述初始化编排模型进行编排训练，得到微服务编排模型；

44、获取模块，用于当所述微服务架构系统获取到用户服务请求时，获取所述用户服务请求的请求状态信息，其中，所述请求状态信息包括目标微服务以及用户偏好特征，所述目标微服务为所述微服务架构系统处理用户服务请求时需部署的容器化微服务，所述用户偏好特征用于表征用户针对服务完成时延指标以及系统负载均衡指标的偏好程度；

45、编排模块，用于将所述请求状态信息输入到所述微服务编排模型进行策略编排处理，得到针对所述目标微服务的编排策略；

46、部署模块，根据所述编排策略对所述容器化微服务进行部署，并通过微服务架构系统运行部署后的所述容器化微服务，以处理所述用户服务请求。

47、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述容器化微服务智能协同编排方法。

48、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述容器化微服务智能协同编排方法。

49、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述容器化微服务智能协同编排方法。

50、本发明提供的容器化微服务智能协同编排方法及装置，先确定出微服务架构系统的服务完成时延指标以及系统负载均衡指标，然后根据这两个指标对初始化编排模型进行编排训练，得到微服务编排模型。当存在用户请求时，将包含用户偏好特征的请求状态信息输入到微服务编排模型中，由此微服务编排模型就会根据用户偏好特征生成得到容器化微服务的编排策略， 进而微服务架构系统就可以根据编排策略来部署容器化微服务。由此，实现了利用容器化微服务编排模型根据用户针对两个指标的偏好程度，制定编排策略，来合理地平衡服务完成时延指标以及系统负载均衡指标两个指标，进而可以提高微服务架构系统的服务性能并减少管理成本。