一种面向智能电网的多目标优化调度系统及方法与流程

本发明涉及电网调度优化，尤其涉及一种面向智能电网的多目标优化调度系统及方法。

背景技术：

1、电网调度是保障电网安全、稳定、经济性运行的重要手段，随着全球气候变暖，风力发电、光伏发电等新能源发电越来越受到人们的重视，加快新能源技术的发展，提高电网对绿色电能的消纳，是兼顾经济发展和电网能源结构绿色转型的应有之义。然而，新能源的间歇性和不稳定性增加了电网调度的复杂性，传统的单目标调度方法很难满足需求，电网的调度方案需要在安全性、稳定性、经济性、环保性等多个方面进行权衡。

2、强化学习是一种交互试错型学习方法，通过智能体与环境的交互学习，能够在复杂、动态的电网环境下进行决策以及自我优化，提高了电网调度的效率和灵活性，在电网调度中表现出较好的应用前景。然而在多目标的强化训练过程中，由于目标之间的相互制约，智能体就需要尝试更多的动作，延长了训练时间并降低了学习效率，并且，如果改变调度目标，则需要重新构建环境并训练智能体，过程繁琐，重复训练过程对人力资源和计算资源造成浪费。

技术实现思路

1、为解决至少部分上述问题，本发明提供了一种面向智能电网的多目标优化调度系统及方法，对快速、便捷训练以及灵活使用智能体，降低智能体在电网调度领域的使用门槛，具有重要意义。为实现以上目的，提供以下技术方案：

2、本发明实施例的第一方面，提供了一种面向智能电网的多目标优化调度系统，其特征在于，包括以下功能模块：

3、调度目标组合模块，从调度目标集合s中选择调度目标组合si，调度目标组合si用于指导智能体agenti对环境状态的改变进行评估，根据评估值对动作进行优化；

4、状态空间构建模块，用于描述智能体agenti在决策过程中观察到的状态的集合；状态空间包括电网拓扑结构信息、风力发电和光伏发电量、储能设备荷电状态、负载预测信息、电力市场价格、气象条件、发电机组运行状态；

5、动作空间构建模块，用于指导智能体根据当前状态信息输出最优动作，动作空间包括机组出力调整值、输电线路的开关状态、储能设备的充电或放电功率、电力交易决策、设备维护决策；

6、智能体训练模块，根据不同的调度目标组合si构造奖励函数ri，基于共享的状态空间和动作空间训练智能体agenti；

7、调度方案生成模块，配置每个智能体agenti的工作时间区间，生成各发电机组的出力分配方案；

8、其中，i>1，对所有目标组合si取并集的结果为目标集合s。

9、优选地，所述调度目标集合s包括，成本最小化、碳排放量最小化、线损最小化、收益最大化、可再生能源利用率最大化、供需平衡、可靠性最大化、最小化负荷曲线峰均比；优选地，每个调度目标组合包括3个调度目标。

10、优选地，根据不同的调度目标组合si构造奖励函数ri，具体为，对调度目标组合si包含的3个调度目标的量纲进行归一化，获得

11、其中zt为t时刻的调度方案，为t时刻的调度目标值；分别计算zt与最优解和最差解之间的欧式距离d1和d2；根据欧式距离d1和d2构造奖励函数ri；

12、

13、优选地，采用基于策略的学习方式训练智能体agenti，具体为：

14、s1：初始化训练次数j＝1，设置更新策略时间t和最大训练次数；s2：agenti在各发电机组上的动作值为策略函数上的随机采样值；s3：根据各发电机组的出力情况获得动作变量值、状态变量值和奖励值；s4：循环步骤s2-s3，如果训练时间大于等于更新策略时间t，执行步骤s5；s5：更新策略，j＝j+1；s6：循环步骤s2-s5，直到j达到最大训练次数；s7：保存的智能体agenti策略，训练结束。

15、优选地，所述采用基于策略的学习方式训练智能体agenti，其中，基于策略的学习方式为以下任一项：

16、自适应策略梯度方法(adaptive policy gradient methods)，确定性策略梯度方法(deterministic policy gradient methods)，深度策略梯度方法(deep policygradient methods)。

17、优选地，根据气象条件信息自动生成每个智能体agenti的工作时间区间qi的配置信息，该配置信息支持手工编辑；每个智能体agenti在工作时间区间qi生成实时电网调度计划。

18、本发明实施例的第二方面，提供了一种面向智能电网的多目标优化调度方法，其特征在于，包括以下步骤；

19、构建状态空间步骤，根据电网拓扑结构信息、风力发电和光伏发电量、储能设备荷电状态、负载预测信息、电力市场价格、气象条件、发电机组运行状态信息构建智能体agenti在决策过程中观察到的状态集合；

20、构建动作空间步骤，根据各机组出力调整值、输电线路的开关状态、储能设备的充电或放电功率、电力交易决策、设备维护决策构建agenti的动作集合；

21、调度目标组合步骤，从调度目标集合s中选择调度目标组合si，调度目标组合si用于指导智能体agenti对环境状态的改变进行评估，根据评估值对动作进行优化；

22、智能体训练步骤，根据不同的调度目标组合si构造奖励函数ri，基于共享的状态空间和动作空间训练智能体agenti；

23、调度方案生成步骤，配置每个智能体agenti的工作时间区间，生成各发电机组的出力分配方案。

24、本发明的有益效果为：

25、1、本发明根据调度目标组合模块设置多个调度目标组合，利用智能体训练模块依据多个调度目标组合训练多个智能体，每个智能体对应一个调度目标组合，在多个智能体训练过程中，利用共享的状态空间、动作空间，降低了训练过程对人力资源和计算资源造成浪费。

26、2、本发明通过配置每个智能体的工作时间区间，生成各发电机组的出力分配方案，尤其针对预先已知重大事件或设备检修安排时，支持对自动生成的智能体的工作时间区间进行手工编辑，增强了电网调度的灵活性、可控性。

技术特征：

1.一种面向智能电网的多目标优化调度系统，其特征在于，包括以下功能模块：

2.根据权利要求1所述的一种面向智能电网的多目标优化调度系统，其特征在于，所述调度目标集合s包括，成本最小化、碳排放量最小化、线损最小化、收益最大化、可再生能源利用率最大化、供需平衡、可靠性最大化、最小化负荷曲线峰均比；优选地，每个调度目标组合包括3个调度目标。

3.根据权利要求2所述的一种面向智能电网的多目标优化调度系统，其特征在于，根据不同的调度目标组合si构造奖励函数ri，具体为，对调度目标组合si包含的3个调度目标的量纲进行归一化，获得

4.根据权利要求3所述的一种面向智能电网的多目标优化调度系统，其特征在于，采用基于策略的学习方式训练智能体agenti，具体为：

5.根据权利要求4所述的一种面向智能电网的多目标优化调度系统，其特征在于，所述采用基于策略的学习方式训练智能体agenti，其中，基于策略的学习方式为以下任一项：

6.根据权利要求5所述的一种面向智能电网的多目标优化调度系统，其特征在于，根据气象条件信息自动生成每个智能体agenti的工作时间区间qi的配置信息，该配置信息支持手工编辑；每个智能体agenti在工作时间区间qi生成实时电网调度计划。

7.一种面向智能电网的多目标优化调度方法，其特征在于，包括以下步骤：

8.根据权利要求7所述的一种面向智能电网的多目标优化调度方法，其特征在于，

9.根据权利要求8所述的一种面向智能电网的多目标优化调度方法，其特征在于，

10.根据权利要求9所述的一种面向智能电网的多目标优化调度方法，其特征在于，根据不同的调度目标组合si构造奖励函数ri，具体为，对调度目标组合si包含的3个调度目标的量纲进行归一化，获得

技术总结本发明提供了一种面向智能电网的多目标优化调度系统及方法，属于电网调度优化技术领域，所述面向智能电网的多目标优化调度系统包括：调度目标组合模块，状态空间构建模块，动作空间构建模块，智能体训练模块，调度方案生成模块。本发明中，根据调度目标组合模块设置多个调度目标组合，利用智能体训练模块依据多个调度目标组合训练多个智能体，每个智能体对应一个调度目标组合，在多个智能体训练过程中，利用共享的状态空间、动作空间，降低了训练过程对人力资源和计算资源造成浪费，通过配置每个智能体的工作时间区间，生成各发电机组的出力分配方案，能够在满足电网安全稳定运营的基础上，增强了电网调度的灵活性、可控性。技术研发人员：栾士岩,魏颖莉,孙广辉,刘喆,焦沁雪,贾亚飞,栗维勋,袁龙,王永辉,孙浩,崔蒙,孙梦雪,赵凯,邱林涛,田志强,孙田雨,吴钒,邢萌受保护的技术使用者：国网河北省电力有限公司雄安新区供电公司技术研发日：技术公布日：2024/7/29