基于人工智能的算力任务-资源动态组合优化调度方法

本发明属于人工智能，具体涉及基于人工智能的算力任务-资源动态组合优化调度方法。

背景技术：

1、随着人工智能、大语言模型的迅速发展，数据中心作为算力基础设施，用能体量不断增长，用电成本居高不下。数据中心可以通过调度算力任务发挥独特的用能灵活性，主要具有以下四方面优势：

2、（1）优化资源利用率：数据中心通常拥有大量的异质服务器和资源，而这些资源的利用率直接关系到数据中心的经济效益，通过有效的算力任务调度算法，可以实现资源的高效利用，最大程度减少资源浪费，降低运营成本；

3、（2）优化性能：数据中心通常承载着大量不同类型的用户请求和算力任务，这些算力任务往往具有不同的性能需求和时延容忍度，通过优化算力任务调度策略，可以合理分配资源，保障关键算力任务的性能指标，提高系统的整体性能和用户满意度；

4、（3）减少能耗：数据中心的能耗是其运营成本的重要组成部分，通过合理的算力任务调度算法，可以将活跃算力任务集中调度到部分服务器，使得其他服务器进入低功耗或者关机状态，从而减少能耗和环境影响。

5、在进行数据中心算力任务调度优化时，需要综合考虑多方面因素的影响，以便制定合适的调度策略来实现系统的优化和高效运行：（1）算力任务属性和需求：算力任务的属性包括计算需求（cpu）、内存需求（i/o）、网络带宽需求（net）、磁盘需求（disk）等，此外，算力任务的时延容忍度也是需要考虑的重要因素；（2）资源异质性：不同服务器可能拥有不同的硬件配置和性能特点；（3）用户体验：除了用能成本等能源目标外，算力任务调度的另一目标是优化系统的性能和响应时间，以提高用户体验和系统的整体效率；（4）泛化性：在算力任务规模变化时能够动态地调整算力任务分配和重新平衡，保证系统的高效运行。

6、现有针对数据中心算力任务调度的方法受到了模型规模和计算能力的限制，通常通过限制算力任务或资源的解集规模、对算力任务或资源进行同质化等假设来简化问题，但这种简化使得这些方法未能真实地反映大规模数据中心的实际运行工况，无法有针对性地进行精细化管理，因此在工业应用中存在较大的局限性。

技术实现思路

1、针对上述现有技术的不足，本技术提供基于人工智能的算力任务-资源动态组合优化调度方法。

2、第一方面本技术提出了基于人工智能的异质任务-异质资源动态组合优化调度方法，包括以下步骤：

3、对异质数据中心环境进行精细化建模，得到异质数据中心环境精细化模型；

4、将异质数据中心环境精细化模型构建成传统马尔科夫决策模型；

5、对所述传统马尔科夫决策模型进行优化，形成适配数据中心大规模动态算力任务调度底层逻辑的异质任务-异质资源动态组合优化双层马尔科夫决策模型，根据优化形成的模型在有向无环图神经网络-指针网络-软演员评论家强化学习算法框架下进行高效调度。

6、在一些实施例中，所述对异质数据中心环境进行精细化建模，得到异质数据中心环境精细化模型，包括：

7、根据不同硬件配置的服务器对应的用能特性对异质数据中心配置的不同类型服务器资源占用和能耗特性进行精细化建模：

8、建立服务器集合：

9、

10、其中表示第种能耗类型的服务器的第台；

11、服务器对应的高维异质资源参数为：

12、

13、其中，表示服务器类型标记，、、和分别表示服务器当前的cpu、内存、磁盘和网络占用参数，、、、和均表示服务器资源参数上限；

14、根据不同类型算力任务随机的到达时间、执行时长、异质资源请求、内部依赖结构和时延容忍度，将数据中心异质算力任务的特征建模为有向无环图结构，其中，将算力任务的到达轨迹记为，一个所述算力任务包含：作业信息，以及作业之间的依赖关系信息，作业之间的依赖关系信息表示为算力任务的相邻边集合和邻接矩阵，为有向无环图神经网络运算提供基本信息，记为：

15、

16、

17、其中，第个算力任务的第个作业具有的高维异质特征包括：cpu占用率、mem占用率、disk占用率、net占用率、执行时长:以及延迟容忍度。

18、在一些实施例中，所述将异质数据中心环境精细化模型构建成传统马尔科夫决策模型，包括状态空间构建步骤：

19、所述状态空间构建步骤包括：

20、利用dagnn将高维异构的算力任务特征转化成低维同构的算力任务嵌入向量，得到三个嵌入向量，分别为作业向量、算力任务向量和全局向量；

21、其中，根据算力任务定义的偏序来处理作业，使用注意力机制对的特征进行聚合，用算子表示，对于第层的，输出消息向量，这表示由计算的同一层所有与作业直接相连的子作业的作业向量的加权组合:

22、

23、利用结合运算符将该上一层的作业特征向量和该作业的消息向量聚合，生成更新后的作业向量：

24、

25、其中、和分别为gru的输入、过去状态、更新状态/输出；规定初始状态为0；

26、经过层处理后，使用读出运算符计算的根作业生成算力任务向量：

27、

28、生成全体算力任务的全局向量：

29、

30、

31、其中，和表示对矢量输入的非线性变换；

32、根据传统马尔科夫决策过程定义的状态空间如下：

33、

34、由训练周期中的时间、算力任务轨迹、服务器集合以及电价构成；

35、通过得到的三种嵌入向量，将传统马尔科夫决策模型中高维异构的算力任务状态向量转换为低维同构的向量，将定义的状态空间压缩为：

36、

37、。

38、在一些实施例中，所述将异质数据中心环境精细化模型构建成传统马尔科夫决策模型，包括动作空间构建步骤：

39、所述动作空间构建步骤包括：

40、基于dagnn压缩后的嵌入向量，构建适配指针网络同构输入的动作空间：

41、

42、

43、其中，表示适配指针网络同构输入的动作空间在时刻t的可选择动作序列，表示每个作业的嵌入向量，表示该作业所属算力任务的嵌入向量，表示全局嵌入向量，表示服务器信息，表示未选择任何作业执行；

44、在一些实施例中，所述将异质数据中心环境精细化模型构建成传统马尔科夫决策模型，包括状态转移构建步骤：

45、所述状态转移构建步骤包括：

46、给定状态，强化学习智能体在时间步的相应动作为：

47、

48、其中，表示多个作业-服务器对组成的序列，表示当前作业不执行，如果某一时间步选择的动作序列均由构成，则表示这一步未选择任何动作；

49、当动作被确定后，与环境互动以获得下一个状态和奖励，这个相互作用的过程可以表示为一个映射函数：

50、

51、

52、其中，表示相应作业对应的资源占用。

53、在一些实施例中，所述将异质数据中心环境精细化模型构建成传统马尔科夫决策模型，包括奖励反馈构建步骤：

54、所述奖励反馈构建步骤包括：设计奖励函数：

55、

56、其中，表示当前时间步的运行周期，每个时间步的该值不定；表示系统性能权重系数；、和分别代表不同服务器的能耗特性函数，表示cpu利用率，表示存储器访问计数，表示磁盘读写率，表示网络读写率。

57、在一些实施例中，所述对所述传统马尔科夫决策模型进行优化，形成适配数据中心大规模动态算力任务调度底层逻辑的异质任务-异质资源动态组合优化双层马尔科夫决策模型，根据优化形成的模型在有向无环图神经网络-指针网络-软演员评论家强化学习算法框架下进行高效调度，包括：

58、将所述传统马尔可夫决策模型改进为异质任务-异质资源动态组合优化双层马尔科夫决策模型，使之适配数据中心大规模动态算力任务调度的底层逻辑；

59、将指针算法嵌入软演员评论家算法框架内，解决异质任务-异质资源动态组合优化导致的时序动态排列问题，使用软策略迭代以最大化目标，同时在最大熵框架内交替进行策略评估和策略改进；

60、最终形成有向无环图神经网络-指针网络-软演员评论家强化学习算法端到端训练框架，实现实时在线决策。

61、在一些实施例中，所述将所述传统马尔可夫决策模型改进为异质任务-异质资源动态组合优化双层马尔科夫决策模型，使之适配数据中心大规模动态算力任务调度的底层逻辑，包括：

62、把具有n维动作的传统传统马尔科夫决策模型模型重构为包含n个1维动作序列的组合优化马尔科夫决策模型，对重构组合优化马尔科夫决策模型的动作价值函数进行定义：

63、

64、其中，定义；对于不同时间步是变化的，两种模型在某些状态下动作价值的值具有相等性：

65、

66、其中，表示重构动态组合优化马尔科夫决策模型的动作价值函数，表示传统马尔科夫决策模型的动作价值函数。

67、在一些实施例中，所述将指针算法嵌入软演员评论家算法框架内，解决异质任务-异质资源动态组合优化导致的时序动态排列问题，使用软策略迭代以最大化目标，同时在最大熵框架内交替进行策略评估和策略改进，包括指针网络软策略评估、指针网络软策略提升和指针网络软策略迭代；

68、将指针算法嵌入软演员评论家算法框架内，首先利用指针网络编码器进行编码得到特征向量，再利用解码器结合注意力计算方法以自回归的方式逐步构造解，得到条件概率：

69、

70、其中，给定训练对，表示待训练策略序列，作为编码器的输入被依次读入，最终编码得到存储输入序列信息的向量v，同时编码器在计算过程中得到每个匹配对的隐层状态；

71、通过解码器对向量v进行解码，解码器读入v，输出第一层隐层状态，利用注意力机制根据和编码器得到的各匹配对的隐层状态计算各个匹配对的概率，选择概率最大的匹配对作为第一步的匹配对，解码器读入上一步的隐层输出和匹配对的特征向量，输出当前的隐层状态，根据和各匹配对的计算选择各个匹配对的概率，如果某一步选择的匹配对不满足资源上限约束，或者当出现空动作时，指针网络停止输出。

72、利用离散软演员评论家算法对指针网络参数进行优化，找到一个策略，随着时间推移最大化折扣回报：

73、

74、其中，表示策略；表示最优策略；表示策略引发的轨迹分布；决定熵项相对于奖励的相对重要性，表示为温度参数；表示策略在状态时的熵，设为某一时间步输入序列的维数，表示动作序列，，在时间步结束时，智能体基于指针网络决策获得的奖励；

75、所述指针网络软策略评估包括：设为某一动作序列的维数，表示动作序列，应用于的贝尔曼算子是收敛的：

76、

77、其中：

78、

79、

80、当时收敛；

81、所述指针网络软策略提升包括：定义策略的新目标为：

82、

83、定义为最大化公式的优化器，对于每个，则有和；

84、所述指针网络软策略迭代包括：从任何策略开始或者应用指针网络软策略评估和改进，策略序列均收敛为，则有，。

85、第二方面本技术提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

86、本发明的有益效果：

87、1、面向拥有不同硬件配置和用能特性服务器的异质数据中心环境，考虑不同类型算力任务不同的资源请求特性和时延容忍度特性，建立了异质算力任务与异质资源匹配优化模型；

88、2、实现了适配异质数据中心大规模算力任务调度底层逻辑的异质任务-异质资源动态组合优化马尔科夫决策建模；

89、3、构建了有向无环图神经网络-指针网络-软演员评论家（dagnn-pointernetwork-sacd）的端到端算法框架，基于此解决了海量高维异构异质算力任务表征问题，实现了异质任务-异质资源动态组合优化在线高效调度；

90、4、具有可扩展性和泛化性，小规模算力任务场景训练收敛的模型可扩展应用至不同大规模算力任务场景。