新能源微电网储能充放电智能控制方法及装置与流程

本发明涉及一种新能源微电网储能充放电智能控制方法及装置，属于微电网充放电智能控制。

背景技术：

1、光伏等分布式绿色能源结合电池储能系统（battery energy storage system，bess）已成为在“3060双碳目标”下实现“零碳”园区绿色微电网的主要技术手段以及新一代智能电网的重要组成部分。但新型绿色能源具有很高的出力间歇性和不确定性。加上新型源、储、荷的引入及园区电网与大电网的复杂互动，给现代电网的稳定、安全、经济运行带来了巨大挑战。新能源园区微电网并非简单的将光伏、储能、配电系统、可控智能电器等拼凑组合，而是有机融合、通过智能化的能量管理系统（energy management system，ems）构成一个整体来实现“柔性绿色用能”，即实现园区与电网之间的友好低碳互动。

2、园区储能系统充放电的优化调节问题，本质上是一个涵盖了多参数、多执行步骤和随机过程预测性信息的优化控制策略的最优解问题：在一个规划运行周期内，储能接入用户侧后，以为用户带来最大化的全周期累计净收益为目标函数，求解最优的储能充放电运行策略。在本质上这是一个马尔可夫决策过程（markov decision process,mdp）问题。该问题并没有确定的最优解，也不容易按传统的人工编程思路来实现其优化控制算法。因为光伏等新能源发电出力以及与园区用电负荷的随机波动性，常规的仅仅根据电网峰谷电价情况而制定的储能定时/分时充放电的控制策略，不能获得园区收益的最优解，在一些情况下甚至会造成不必要的电力浪费和加剧系统的稳定性问题。业界尝试的新方法，是根据日前预测与计划信息人为制定日间调度运行曲线，再基于调度曲线进行实时微调。因为计划曲线与实际新能源出力与负荷变化情况往往偏差较大，这种方法也难以获得较好的运行效果。

3、因此，本发明提出了一种基于改进的深度强化学习ppo模型的新能源微电网储能充放电智能控制方法及装置。

技术实现思路

1、为了解决上述问题，本发明提出了一种新能源微电网储能充放电智能控制方法及装置，能够实现园区微电网中储能系统充放电的智能优化调节，为用电用户带来最大化的累计净收益。

2、本发明为解决其技术问题所采取的技术方案是：

3、第一方面，本发明实施例提供的一种新能源微电网储能充放电智能控制方法，包括如下步骤：

4、步骤s1，依据用户侧园区微电网环境建立微电网模型并设计仿真环境，产生微电网中负荷和光伏发电的有功功率；

5、步骤s2，综合考虑用户侧园区微电网的单目标或多目标优化问题，建立环境奖励函数；

6、步骤s3，建立深度强化学习ppo模型，进行模型训练与调优，获得最终的微电网储能充放电控制模型；

7、步骤s4，实时采集用户侧园区微电网数据，输入微电网储能充放电控制模型进行微电网储能充放电智能控制。

8、作为本实施例一种可能的实现方式，所述步骤s1，包括：

9、基于用户侧园区微电网环境建立微电网模型，所述微电网模型包括储能设备、换流装置和负荷设备的稳态和动态特性，以及微电网与外部大电网的接口模型；

10、建立微电网状态（state）的表达式；所述微电网状态（state）的表达式为：

11、，

12、其中：是当前时刻的时标；是时刻的电池荷电状态（soc），取值范围：；是储能装机容量，单位是：；是电池健康状态（soh），取值范围：；是电池荷电状态（soc）最小值，取值范围：；是电池荷电状态（soc）最大值，取值范围：；是储能充电最大有功功率，单位是：；是储能放电最大有功功率，单位是：；是储能充放电转换效率，取值范围：；是当前时刻的电价，单位是：；是当前时刻的负荷有功功率，单位是：；是当前时刻的光伏有功出力，单位是：；是设置的需量防守阈值，单位是：；是防逆流保护阈值，单位是：；

13、建立动作（action）表达式；时刻需要产生的控制动作：

14、，

15、其中，是储能的充放电有功功率指令,单位是；，储能放电；，储能充电；，储能不充电也不放电；且，是储能充电的最大有功功率，是储能放电的最大有功功率；

16、使用python潮流计算库pandapower建立微电网仿真环境，所述python潮流计算库pandapower支持潮流、最优潮流、状态估计、根据iec60909进行短路计算、拓扑图搜索功能；

17、产生微电网中负荷和光伏发电的有功功率。

18、作为本实施例一种可能的实现方式，在建立微电网模型过程中，整个微网系统满足以下的功率平衡公式：

19、，

20、其中，为微网系统的用电负荷；为光伏发电功率；为储能运行有功功率，当等于0时，储能不充不放电，当小于0时，储能充电，大于0时，储能放电；为外部大电网的输入功率，大于0表示从大电网取电，小于0表示向大电网送电。

21、作为本实施例一种可能的实现方式，在建立微电网模型过程中，对用户侧微电网状态（state）的采样频率和储能系统的控制动作（action）频率都设置为1min，在一个24h的运行循环周期内共有1440个采样与控制时间点；是一天第分钟的时标。

22、作为本实施例一种可能的实现方式，所述产生微电网中负荷和光伏发电的有功功率，包括：

23、在目标微电网中部署智能化能量管理系统（ems），然后使用传统方法控制储能充放电，工作一段时间如1个月；

24、使用智能化能量管理系统（ems）采集这段时间里负荷和光伏发电的有功功率数据，采样周期是1分钟；

25、使用数学统计的方法分析这段时间的负荷和光伏发电的有功功率数据，寻找数据中的特征；

26、获取目标微电网所在地年光伏辐照度情况和空气质量情况；

27、根据特征和目标微电网所在地年光伏辐照度情况和空气质量情况，用算法自动产生n年的负荷和光伏发电数据。

28、作为本实施例一种可能的实现方式，所述步骤s2，包括：

29、确定优化目标，所述优化目标为提高园区的用电效率、降低用电支出；

30、根据每次储能充放电的收益建立环境奖励函数：

31、，

32、，

33、其中：是采样时间点，采样周期是1分钟；是储能按照当前指令动作时当前时间段微电网关口表的电度量计费，是储能不动作即时当前时间段微电网关口表的电度量计费；是本时段储能向电网倒送的电能；是储能按当前指令动作时的需量功率，是储能不动作即时的需量功率，是时刻前的需量功率；是比例系数，按照实际微电网的参数确定；

34、将状态向量降维到低维状态空间，构建表征状态空间熵的内在奖励。

35、作为本实施例一种可能的实现方式，所述将状态向量降维到低维状态空间，构建表征状态空间熵的内在奖励，包括：

36、使用随机编码器将14维的状态矢量降维成6维的低维状态空间中的状态矢量，并将记录到回放缓存区中；

37、用k近邻算法从回放缓存区中找出距离最近的个低维表示空间状态矢量：；

38、计算内在奖励：

39、；

40、计算期望奖励：

41、，

42、其中，，随着训练时间的增加，将越来越小，目的是使内在奖励在期望奖励中的占比随着训练时间的增加而减小；

43、用期望奖励代替环境奖励进行模型训练。

44、作为本实施例一种可能的实现方式，所述深度强化学习ppo模型应用深度强化学习的机制，以最大化预期回报为目标，通过智能体（agent）和环境（environment）进行交互，在某个状态（state）下执行一个动作（action）后，智能体将接收到有关环境的下一个状态和相应的奖励回报，从而形成一条状态-动作-奖励回报轨迹链；

45、所述深度强化学习ppo模型的优化目标函数为：

46、，

47、其中，为动作策略，、分别为t时刻的环境奖励、动作和状态；

48、在所有可能的动作策略集中，求解出一个动作策略，由其产生的轨迹链获得最大的累计奖励回报，动作策略以神经网络参数的形式记录在图中演员（actor）模型里。

49、第二方面，本发明实施例提供的一种新能源微电网储能充放电智能控制装置，包括：

50、仿真环境设计模块，用于依据用户侧园区微电网环境建立微电网模型并设计仿真环境，产生微电网中负荷和光伏发电的有功功率；

51、环境奖励函数建立模块，用于综合考虑用户侧园区微电网的单目标或多目标优化问题，建立环境奖励函数；

52、模型建立与训练模块，用于建立深度强化学习ppo模型，进行模型训练与调优，获得最终的微电网储能充放电控制模型；

53、充放电控制模块，用于实时采集用户侧园区微电网数据，输入微电网储能充放电控制模型进行微电网储能充放电智能控制。

54、第三方面，本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任意新能源微电网储能充放电智能控制方法的步骤。

55、第四方面，本发明实施例提供的一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任意新能源微电网储能充放电智能控制方法的步骤。

56、本发明实施例的技术方案所产生的有益效果如下：

57、本发明实施例的技术方案的一种新能源微电网储能充放电智能控制方法，包括如下步骤：步骤s1，依据用户侧园区微电网环境建立微电网模型并设计仿真环境，产生微电网中负荷和光伏发电的有功功率；步骤s2，综合考虑用户侧园区微电网的单目标或多目标优化问题，建立环境奖励函数；步骤s3，建立深度强化学习ppo模型，进行模型训练与调优，获得最终的微电网储能充放电控制模型；步骤s4，实时采集用户侧园区微电网数据，输入微电网储能充放电控制模型进行微电网储能充放电智能控制。本发明通过对园区微电网中储能系统充放电的智能优化调节，实现了对新能源微电网储能充放电的精确控制和优化，提高了微电网的能量管理效率和稳定性，为用电用户带来了最大化的累计净收益。

58、本发明实施例的技术方案的一种新能源微电网储能充放电智能控制装置，与本发明实施例的技术方案的一种新能源微电网储能充放电智能控制方法具有相同的有益效果。