源荷分层分区多时间尺度协调控制模型构建方法和装置与流程

本发明涉及电力系统，尤其涉及一种源荷分层分区多时间尺度协调控制模型构建方法和装置。

背景技术：

1、随着风、光等新型可再生能源发电大量接入配电网，此类发电设备的波动性和间歇性会加剧电网电压的波动。在传统配电网中，通过调节如有载调压变压器(oltc)、分组投切电容器(sc)、静止无功补偿装置(svc)、断路器(cb)等无功调节设备来优化电网电压，减小电网的运行损耗，从而提高配电网的电能质量，实现经济运行。

2、随着电力电子技术的迅速发展，各种电力电子设备大量接入配电网，如电压源型换流器(vsc)、智能软开关(sop)等设备能够通过提供无功支撑或转移有功功率的方式来快速调节电力系统电压水平。如何实现对这些电力设备的有效协调控制是目前亟需解决的技术问题。

技术实现思路

1、为了解决对这些电力设备的有效协调控制的技术问题，本发明提供了一种源荷分层分区多时间尺度协调控制模型构建方法和装置。

2、第一方面，本发明提供了一种源荷分层分区多时间尺度协调控制模型构建方法，所述方法包括：

3、根据目标配电网中电力设备的调节速度，建立慢速调节设备的控制策略和快速调节设备的控制策略；

4、基于马尔可夫决策过程、所述慢速调节设备的控制策略和快速调节设备的控制策略，建立协调控制模型，所述协调控制模型中包括慢速调节设备智能体和快速调节设备智能体；

5、对所述目标配电网中各分区中的所述慢速调节设备智能体和所述快速调节设备智能体进行训练，得到所述目标配电网的协调控制模型。

6、基于上述技术方案，进一步地，所述根据目标配电网中电力设备的调节速度，建立慢速调节设备的控制策略和快速调节设备的控制策略，具体包括：

7、将一个优化周期设置为第一时间间隔和第二时间间隔，所述一个优化周期中包括nl所述第一时间间隔，所述第一时间间隔中包括ns个所述第二时间间隔；

8、基于所述第一时间间隔设置慢速调节设备的控制策略，所述慢速调节设备包括真空有载分接开关oltc和断路器cb；

9、基于所述第二时间间隔设置所述快速调节设备的控制策略，所述快速调节设备包括无功补偿器svc、逆变器pv、智能软开关sop和储能系统ess。

10、基于上述技术方案，进一步地，所述慢速调节设备智能体的动作空间包括oltc的动作档位和cb的动作档位

11、所述慢速调节设备智能体的状态空间包括各慢速调节设备的有功功率、无功功率、电压幅值、oltc周期内的调节次数和cb周期内的调节次数

12、基于上述技术方案，进一步地，所述快速调节设备智能体的动作空间包括svc的无功支撑功率pv逆变器的无功支撑功率sop的有功功率传输功率和无功功率传输功率以及ess的充放电量

13、所述快速调节设备智能体的状态空间包括各快速调节设备的有功功率、无功功率和电压幅值；

14、t时段，逆变器pv无功出力的动态边界qpvt,bound：

15、sop无功出力的动态边界qsopt,bound为

16、ess充放电量的动态边界pesst,bound为：

17、

18、其中，pv逆变器的无功支撑功率：

19、

20、sop的无功功率传输功率：

21、ess的充放电量：

22、

23、基于上述技术方案，进一步地，所述快速调节设备智能体的奖励函数参照下式得到：

24、

25、式中，ri,t即所述目标配电网中分区i内快速调节设备智能体所获得的奖励值，bi为分区i全部快速调节设备智能体组成的集合，λi,t为分区i快速调节设备中电压越限节点组成的集合；

26、若在t时段所述目标配电网中分区i内快速调节设备智能体的动作次数超过限制次数，扣除惩罚因子σ，调整所述目标配电网中分区i内快速调节设备智能体所获得的奖励值，以惩罚快速调节设备的越限操作，如下式：

27、

28、所述慢速调节设备智能体获得的奖励ri,t是在所有所述第一时间间隔内所有快速调节智能体获得奖励的平均值

29、基于上述技术方案，进一步地，所述对所述目标配电网中各分区中的所述慢速调节设备智能体和所述快速调节设备智能体进行训练，得到所述目标配电网的协调控制模型，具体包括：

30、所述目标配电网中各分区中的所述慢速调节设备智能体和所述快速调节设备智能体通过策略网络和价值网络生成策略；

31、从所述目标配电网中各分区中获得各所述快速调节智能体的主奖励值和辅助奖励值，各所述快速调节设备智能体的主奖励值和辅助奖励值是通过价值网络生成的；

32、计算所述各所述快速调节智能体的主奖励值和辅助奖励值的损失值，并为所述辅助奖励值的损失设置参与因子，并通过所述参与因子更新所述快速调节智能体的价值网络的更新过程；

33、所述辅助奖励值提供额外的学习信号，各所述快速调节智能体更调整行为以减少主奖励值的损失；

34、当各分区中所述慢速调节设备智能体和所述快速调节设备智能体中所有所述主奖励值的损失小于预设损失值阈值时，得到所述目标配电网的协调控制模型。

35、第二方面，本发明还提供了一种源荷分层分区多时间尺度协调控制模型构建装置，所述装置包括：

36、第一处理模块，用于根据目标配电网中电力设备的调节速度，建立慢速调节设备的控制策略和快速调节设备的控制策略；

37、第二处理模块，用于基于马尔可夫决策过程、所述慢速调节设备的控制策略和快速调节设备的控制策略，建立协调控制模型，所述协调控制模型中包括慢速调节设备智能体和快速调节设备智能体；

38、第三处理模块，用于对所述目标配电网中各分区中的所述慢速调节设备智能体和所述快速调节设备智能体进行训练，得到所述目标配电网的协调控制模型。

39、基于上述技术方案，进一步地，所述第一处理模块，具体用于将一个优化周期设置为第一时间间隔和第二时间间隔，所述一个优化周期中包括nl所述第一时间间隔，所述第一时间间隔中包括ns个所述第二时间间隔；

40、基于所述第一时间间隔设置慢速调节设备的控制策略，所述慢速调节设备包括真空有载分接开关oltc和断路器cb；

41、基于所述第二时间间隔设置所述快速调节设备的控制策略，所述快速调节设备包括无功补偿器svc、逆变器pv、智能软开关sop和储能系统ess。

42、基于上述技术方案，进一步地，所述慢速调节设备智能体的动作空间包括oltc的动作档位和cb的动作档位

43、所述慢速调节设备智能体的状态空间包括各慢速调节设备的有功功率、无功功率、电压幅值、oltc周期内的调节次数和cb周期内的调节次数

44、基于上述技术方案，进一步地，所述快速调节设备智能体的动作空间包括svc的无功支撑功率pv逆变器的无功支撑功率sop的有功功率传输功率和无功功率传输功率以及ess的充放电量

45、所述快速调节设备智能体的状态空间包括各快速调节设备的有功功率、无功功率和电压幅值；

46、t时段，逆变器pv无功出力的动态边界qpvt,bound：

47、sop无功出力的动态边界qsopt,bound为

48、ess充放电量的动态边界pesst,bound为：

49、

50、其中，pv逆变器的无功支撑功率：

51、

52、sop的无功功率传输功率：

53、ess的充放电量：

54、

55、基于上述技术方案，进一步地，所述快速调节设备智能体的奖励函数参照下式得到：

56、

57、式中，ri,t即所述目标配电网中分区i内快速调节设备智能体所获得的奖励值，bi为分区i全部快速调节设备智能体组成的集合，λi,t为分区i快速调节设备中电压越限节点组成的集合；

58、若在t时段所述目标配电网中分区i内快速调节设备智能体的动作次数超过限制次数，扣除惩罚因子σ，调整所述目标配电网中分区i内快速调节设备智能体所获得的奖励值，以惩罚快速调节设备的越限操作，如下式：

59、

60、所述慢速调节设备智能体获得的奖励ri,t是在所有所述第一时间间隔内所有快速调节智能体获得奖励的平均值

61、基于上述技术方案，进一步地，所述第三处理模块，具体用于所述目标配电网中各分区中的所述慢速调节设备智能体和所述快速调节设备智能体通过策略网络和价值网络生成策略；

62、从所述目标配电网中各分区中获得各所述快速调节智能体的主奖励值和辅助奖励值，各所述快速调节设备智能体的主奖励值和辅助奖励值是通过价值网络生成的；

63、计算所述各所述快速调节智能体的主奖励值和辅助奖励值的损失值，并为所述辅助奖励值的损失设置参与因子，并通过所述参与因子更新所述快速调节智能体的价值网络的更新过程；

64、所述辅助奖励值提供额外的学习信号，各所述快速调节智能体更调整行为以减少主奖励值的损失；

65、当各分区中所述慢速调节设备智能体和所述快速调节设备智能体中所有所述主奖励值的损失小于预设损失值阈值时，得到所述目标配电网的协调控制模型。

66、第三方面，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述技术方案中任一项所述的源荷分层分区多时间尺度协调控制模型构建方法。

67、第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述技术方案中任一项所述的源荷分层分区多时间尺度协调控制模型构建方法。

68、本发明提供的一种源荷分层分区多时间尺度协调控制模型构建方法，包括根据目标配电网中电力设备的调节速度，建立慢速调节设备的控制策略和快速调节设备的控制策略；基于马尔可夫决策过程、所述慢速调节设备的控制策略和快速调节设备的控制策略，建立协调控制模型，所述协调控制模型中包括慢速调节设备智能体和快速调节设备智能体；对所述目标配电网中各分区中的所述慢速调节设备智能体和所述快速调节设备智能体进行训练，得到所述目标配电网的协调控制模型。本发明操作简单，分析结果直观、清晰，根据电网调节设备调节速度的不同及其运行约束条件，建立多时间尺度协调控制框架，本发明基于深度强化学习理论进一步对快速、慢速调节智能体进行分区协调训练，更新网络参数，最终形成配电网电压优化模型，具有一定的实用价值。