能源管理系统的设备调度决策方法及系统、介质、设备与流程

本发明涉及综合能源系统运行优化，具体涉及一种能源管理系统的设备调度决策方法及系统、介质、设备。

背景技术：

1、需求响应(demandresponse,dr)系统会根据变化的电能价格或其他电网信号动态调整电能需求。通过适当调整能源价格，负荷可以从高峰能耗时段转移到其他时间。由此可以提高运营效率，降低运营成本，提高资本效率，减少有害排放和停电风险。在综合能源系统(ies)的研究领域，业界已经对运行优化问题进行了深入探讨，旨在提升系统负荷侧的运行灵活性，并增强新能源的消纳能力。住宅和小型商业建筑的需求响应(dr)据估计可达到dr总节能潜力的65％。然而，住宅和小型商业建筑领域的dr面临着几个挑战，技术挑战包括以有用的方式部署基础设施向能源消费者提供实时定价信息，确保安全性，并实施先进的计量和网络设备。除了这些技术挑战之外，住宅和小型商业建筑领域dr成功的另一个至关重要的挑战是需要一个完全自动化的能源管理系统(ems)。这是因为在以价格为驱动的dr中，消费者面临着持续的决策序列，要么现在使用特定设备并以当前(已知)价格消耗能源，要么推迟使用设备直到以后可能的未知价格。每个决策都需要消费者权衡成本差异与由于重新安排设备使用而产生的不满。当消费者还必须估计未来能源价格时，这种情况尤为繁重。此外，许多这些决策对消费者的财务影响有限，因此，许多理性的住宅和小型商业建筑领域的消费者可能在长期内没有足够的激励来做出这些决策，缺点如下：

2、技术缺点：在居住和小型商业建筑中实施需求响应可能涉及到设备和系统的技术更新和改造，以适应能源消耗的调节和管理需求。用户参与挑战：鼓励居民和小型商业建筑业主积极参与需求响应可能面临一定的难度，需要建立有效的激励机制和教育宣传工作。

3、数据和信息缺点：实施需求响应需要大量的数据支持和信息交流，包括实时能源价格、用电数据等，因此建立有效的数据收集和共享机制至关重要。

4、监管和政策上的问题：需求响应涉及到能源市场、政策法规等多方面因素，需要与监管机构和政府部门密切合作，确保合规性和可持续性。

5、尽管业界已经有不少模型在不同情境下对ies的运行优化进行了分析，但这些模型往往忽视了综合能源系统与用户侧的互动。

技术实现思路

1、为此，本发明提供一种能源管理系统的设备调度决策方法及系统、介质、设备，旨在解决现有技术中尚未有考虑用户侧满意程度的设备调度的技术问题。

2、为实现以上目的，本发明采用如下技术方案：

3、依据本发明第一方面，本发明提供一种能源管理系统的设备调度决策方法，所述方法包括：

4、获取与能源管理系统相关的电网信号数据、用户请求数据以及设备管理数据；

5、利用所述电网信号数据、所述用户请求数据以及所述设备管理数据定义成本函数；

6、构建基于强化学习的mdp马尔可夫决策模型，利用所述mdp马尔可夫决策模型计算所述成本函数最小化的设备调度决策。

7、可选地，所述电网信号数据包括实时能源价格、未来能源价格、实时温度以及天气条件中至少之一；

8、所述用户请求数据包括用户向所述能源管理系统发起的针对第一目标设备在第一目标时间段内进行用电的用电请求/取消数据，公式表示为j＝(n,τr,τg,g)；其中，n为第一目标设备；τr为请求时间；τg为工作时间；g为该请求的优先级；τr≤τg≤τr+wn；wn为一个时间窗口；

9、所述设备管理数据包括能源管理系统基于所述用户请求数据，针对第二目标设备在第二目标时间段内进行供电的供电决策数据。

10、可选地，所述利用所述电网信号数据、所述用户请求数据以及所述设备管理数据定义成本函数，包括：

11、基于所述用户请求数据以及所述设备管理数据定义用户不满函数，公式如下：

12、

13、其中，为目标设备n到时间t之前的用电请求/取消数据和供电决策数据；为用户在时间t对目标设备n的不满程度；ht为目标设备；

14、基于所述用户不满函数和所述电网信号数据定义成本函数，公式如下：

15、

16、其中，d(t)＝{在时间t执行工作的设备}；pt为时间t的电价；γ≥0代表电费支付和消费者对重新调度的不满之间的折衷参数；∑n∈d(t)cn是时间t消耗的总电能；ptcn∑n∈d(t)为时间t支付的电费。

17、可选地，所述构建基于强化学习的mdp马尔可夫决策模型，包括：

18、将用电设备基于设备类型划分为不同的设备集群；各所述设备集群表示为

19、定义所述不满函数的函数形式，公式如下：

20、

21、其中，gt为当前请求的优先级；st为时间t的经过时间，公式如下：

22、

23、在时间t的状态函数定义为：

24、xt＝[pt,st,gt]t∈s

25、其中，s是状态空间；s的基数为|p|为p的基数，为另一个时间窗口；

26、所述mdp马尔可夫决策模型为基于所述不满函数和所述状态函数对设备调度策略做出决策，公式表示为：

27、μ*(xt)∈argmaxa∈aq*(xt,a)

28、其中，μ*为q*可用时的最优决策；a为折现因子；a为动作空间。

29、可选地，所述利用所述mdp马尔可夫决策模型计算所述成本函数最小化的设备调度决策，包括：

30、获取折现因子a、折衷参数γ、所述不满函数各所述集群中设备n的能耗率cn、电网信号数据以及针对所述设备集群中的设备的用户请求数据，利用所述mdp马尔可夫决策模型对设备调度策略做出决策；

31、定义性能指标函数，利用所述性能指标函数计算所述当前决策的成本函数，得到成本函数最小化的设备调度策略。

32、可选地，所述定义性能指标函数，利用所述性能指标函数计算所述设备调度决策最小成本函数，包括：

33、对于所述mdp马尔可夫决策模型的设备调度策略μ，利用vμ表示预期无限期折现成本，得到成本最小化设备调度策略μ*；

34、定义设备调度策略μ能够实现的最大预期成本减少，公式如下：

35、

36、其中，drp为最大预期成本减少；rdrp为相对最大预期成本减少；μbase为基准策略；

37、利用rl算法计算预期无限期折现成本则标准化预期成本减少ri，公式如下：

38、

39、将ri最大的设备调度策略μ作为成本函数最小化的设备调度策略μ*。

40、可选地，所述方法还包括：

41、利用基于q-learning的辅助聚合决策算法对所述设备决策策略进行优化，得到目标设备调度决策。

42、依据本发明第二方面，本发明提供一种能源管理系统的设备调度决策系统，所述系统包括：

43、数据获取模块，用于获取来自能源管理系统的电网信号数据、用户请求数据以及设备管理数据；

44、函数定义模块，用于利用所述电网信号数据、所述用户请求数据以及所述设备管理数据定义成本函数；

45、决策计算模块，用于构建基于强化学习的mdp马尔可夫决策模型，利用所述mdp马尔可夫决策模型计算所述成本函数最小化的设备调度决策。

46、依据本发明第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如本发明第一方面中任一项所述的能源管理系统的设备调度决策方法。

47、依据本发明第四方面，本发明提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本发明第一方面中任一项所述的能源管理系统的设备调度决策方法。

48、本发明采用以上技术方案，至少具备以下有益效果：

49、通过本发明方案，获取来自能源管理系统的电网信号数据、用户请求数据以及设备管理数据；利用所述电网信号数据、所述用户请求数据以及所述设备管理数据定义成本函数；构建基于强化学习的mdp马尔可夫决策模型，利用所述mdp马尔可夫决策模型计算所述成本函数最小化的设备调度决策。本发明通过将完全自动化ems的重新调度问题表述为强化学习(rl)问题，并论证这个rl问题可以通过对设备集群进行近似分解来解决，由此实现无需显式地对作业重新调度的用户不满进行建模，使ems能够自行启动作业，允许用户发起更灵活的请求，并且其计算复杂度与设备集群的数量成线性关系，降低了计算复杂度，从而促进需求响应技术在这些领域的应用和发展。

50、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。