一种面向电网调频的数据中心任务调度决策方法及系统

本发明属于人工智能，具体涉及一种面向电网调频的数据中心任务调度决策方法及系统。

背景技术：

1、在数字经济时代，云计算、大数据、人工智能等数字技术加速发展，尤其是2022年chatgpt问世显著驱动了智能算力需求的增长，算力正逐渐成为一种新的生产力。数据中心是算力的物理承载，是数字化发展的关键基础设施。随着全球数据中心数量和规模的持续扩大，海量的算力需求必将引起数据中心用电量急剧增加。海量的算力需求以及数据中心工作负载的时间转移特性赋予了中心巨大的可调负荷潜力，数据中心在电网需求侧已经成为一种新兴的可调负荷资源。另一方面，在高比例可再生能源电力系统背景下，电网调频问题成为威胁电力系统安全稳定运行的重要方面。单纯依靠传统发电机二次调频的方式已经不能满足电力系统频率稳定的要求，迫切需要提升电力系统的调节能力。挖掘电网需求侧可调负荷资源是提升系统调节能力的重要途径之一。实际上，近年来数据中心凭借其用电负荷的动态调节能力已经成为提供电力系统调频辅助服务的一种备受瞩目的可调负荷资源。利用数据中心任务调度方式将工作负载在时间尺度上进行转移，可以实现数据中心对电力负荷的精准调控，从而实现数据中心对电网调频信号的准确响应，有助于降低数据中心用能成本，并通过提供电力调频辅助服务获得调频经济补偿。

2、cn112949195a提出了一种基于市场电价的数据中心实时任务调度方法，可以解决数据中心能耗成本较高的问题，但是没有从提供调频辅助服务方面考虑数据中心能耗成本优化。提出了一种数据中心基于服务器运行工况管理的实时调度技术，使数据中心提供频率调节备用服务，但是只是在服务器层面考虑服务器活跃、关闭等运行状态对数据中心运行负荷的影响，并未在任务调度层面提出调度策略。

3、目前实现数据中心调频信号跟踪的主要方法是在服务器层面实现调频信号指导下的数据中心用电负荷调控：

4、第一种是采用动态电压频率调节技术对服务器cpu运行频率和运行电压进行调节；

5、第二种是采用服务器运行状态管理的技术，调整活跃服务器和空闲状态服务器的数量。

6、通过调节服务器运行工况的方式有很大的局限性，一方面原因是频繁调节服务器运行工况将会影响服务器运行应用程序的性能，dvfs技术以延长任务执行时间代价减少来达到数据中心功耗，负载执行时间增加可能会导致负载不能在截止时间之前完成，降低数据中心的服务质量。另一方面是数据中心任务调度的到达具有随机性，在面向电网调频场景下数据中心需要在秒级时间尺度内对数据中心的用电负荷进行调整，相较于服务器层面的功率控制，通过数据中心任务调度的方式能够更加快速、准确的实现调频信号的精确响应。

技术实现思路

1、针对上述现有技术的不足，本技术提供一种面向电网调频的数据中心任务调度决策方法及系统。

2、第一方面本技术提出了一种面向电网调频的数据中心任务调度决策方法，包括以下步骤：

3、将面向电网调频的数据中心任务调度建模为马尔科夫决策模型；

4、构建基于策略梯度的数据中心任务调度算法，利用构建的算法对所述马尔科夫决策模型进行求解，得到最优任务调度策略；

5、采样真实的数据中心工作负载到达轨迹，根据所述最优任务调度策略指导数据中心任务调度器工作负载进行调度，所述最优任务调度策略表示在每个状态下输出不同动作的概率，任务调度器选择概率最大的动作进行执行。

6、在一些实施例中，所述将面向电网调频的数据中心任务调度建模为马尔科夫决策模型，包括配置智能体；

7、所述配置智能体包括：将数据中心任务调度器设置为任务调度策略学习的智能体，通过所述智能体获取每个时刻的电力市场环境中的状态信息，得到环境状态，同时通过所述智能体观测数据中心内部工作负载和服务器状态信息，所述智能体基于所述环境状态、数据中心内部工作负载和服务器状态信息得到最终状态。

8、在一些实施例中，所述将面向电网调频的数据中心任务调度建模为马尔科夫决策模型，包括定义状态空间；

9、所述定义状态空间包括：定义时间步为t的服务器资源利用率为，工作负载队列状态为、电价为、调频信号为、工作负载所需每个时间步需要的cpu资源为、执行时间为、已经分配到的cpu资源为、已经执行的时间为。

10、在一些实施例中，所述将面向电网调频的数据中心任务调度建模为马尔科夫决策模型，包括定义动作空间；

11、定义动作空间如下：

12、

13、其中，表示任务调度器给工作负载分配的cpu资源上限，每个时间步任务调度器给工作负载分配的服务器资源不超过服务器所提供的资源总和，表示为：

14、

15、在一些实施例中，所述将面向电网调频的数据中心任务调度建模为马尔科夫决策模型，包括设置奖励函数；

16、设置奖励函数包括设置电费奖励、设置偏差奖励和设置工作负载奖励：

17、设置电费奖励：数据中心在时间步t支出的电费来表征数据中心能耗成本，以负的电费支出作为所述电费奖励；

18、设置偏差奖励：引入调频偏差价格并结合每个时间步的功率偏差得到调频信号跟踪偏差成本，以负成本作为所述偏差奖励；

19、设置工作负载奖励：数据中心在时间步t中所有处于等待状态的工作负载都会产生工作负载成本，将所有工作负载成本之和的负值作为所述工作负载奖励。

20、在一些实施例中，所述构建基于策略梯度的数据中心任务调度算法，包括：

21、构建策略目标函数为：

22、

23、构建策略梯度为：

24、

25、构建策略网络参数更新公式为：

26、

27、构建状态价值估计的误差函数为：

28、

29、构建状态价值参数更新公式为：

30、

31、其中，表示任务调度器在t时刻的状态价值函数，表示任务调度器在t时刻的动作-状态价值函数，表示策略网络参数，表示状态价值参数表示动作-状态价值函数的无偏估计，表示策略网络参数的更新步长，表示状态价值估计的误差函数，表示状态价值参数的更新步长。

32、在一些实施例中，所述利用构建的算法对所述马尔科夫决策模型进行求解，得到最优任务调度策略，包括：

33、步骤1：初始化策略、状态价值估计、迭代次数n、回合次数e和更新步长；

34、步骤2：采样工作负载到达轨迹，根据采样得到所述工作负载轨迹依次决策资源分配动作；

35、步骤3：执行动作后获取环境反馈的电费奖励、偏差奖励和工作负载奖励；

36、步骤4：任务调度器完成一个工作负载轨迹调度后表示一个回合结束，更新策略网络参数和状态价值参数；

37、步骤5：当迭代次数小于n时，返回到所述步骤2开始重新迭代，直到迭代完成，得到训练结果为最优策略参数，从而得到最优任务调度策略。

38、第二方面本技术提出一种面向电网调频的数据中心任务调度决策系统，包括模型构建模块、策略获取模块和调度执行模块；

39、所述模型构建模块，用于将面向电网调频的数据中心任务调度建模为马尔科夫决策模型；

40、所述策略获取模块，用于构建基于策略梯度的数据中心任务调度算法，利用构建的算法对所述马尔科夫决策模型进行求解，得到最优任务调度策略；

41、所述调度执行模块，用于采样真实的数据中心工作负载到达轨迹，根据所述最优任务调度策略指导数据中心任务调度器工作负载进行调度，所述最优任务调度策略表示在每个状态下输出不同动作的概率，任务调度器选择概率最大的动作进行执行。

42、第三方面本技术提出一种电子装置，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

43、第四方面本技术提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

44、本发明的有益效果：

45、本发明保证服务质量的前提下数据中心的用能成本优化和电网调频信号的准确跟踪，对数据中心任务调度决策过程的建模，包括状态空间、动作空间、奖励函数的设置；提出了一种数据中心任务调度方式，不仅考虑了工作负载在时间尺度上的推迟，也考虑服务器资源尺度上的分配，并将传统的任务调度问题转化为资源分配问题进行解决。