基于联邦学习和去中心化执行的配电网络电压控制方法与流程

本发明涉及电力系统和智能电网，具体涉及基于联邦学习和去中心化执行的配电网络电压控制方法。

背景技术：

1、随着分布式能源资源(ders)的大规模集成，配电网络(dns)的运营和管理面临前所未有的挑战和机遇。ders的集成不仅提高了电网的可再生能源利用率，还引入了新的动态性和复杂性，这些都需要新的管理方法和优化策略。在这个背景下，虚拟电厂(vpps)的概念逐渐成熟，它通过集成和协调分布式能源资源，提高了电网的灵活性和稳定性。

2、在传统的电网管理模式中，配电能源管理系统(dems)通常采用中心化的优化算法来监控和控制dn内的各种实体。这种方法依赖于从电网各部分收集大量实时数据，然后在中央位置进行处理和决策，最后将控制命令下发到各个节点。然而，这种中心化方法在处理大规模ders集成时遇到了若干问题，特别是在通信效率、系统的恢复能力、数据隐私保护以及系统可扩展性方面。

3、为了克服中心化方法的局限性，分布式或去中心化优化方法，特别是去中心化电压控制(dvc)，成为电网现代化的关键方向之一。dvc通过在电网的各个节点部署智能代理，实现对电压和其他关键参数的本地化控制，从而减少了对中心化控制和大规模通信的依赖。这种方法不仅提高了电网对故障的恢复能力，还降低了通信成本，增强了系统的隐私性和安全性。

4、在这种背景下，联邦学习结合marl的方法，为解决dvc提供了一个创新的框架。这种方法利用联邦学习的概念，允许多个代理共享学习经验而不共享私有数据，进一步增强了隐私保护和通信效率。通过将这种框架应用于dvc，不仅可以克服传统中心化方法的局限性，还可以充分利用ders的潜力，实现更安全、经济和可持续的电网运行。

技术实现思路

1、为克服现有技术的不足，本发明提出基于联邦学习和去中心化执行的配电网络电压控制方法，集中培训-分散执行(ctde)框架转变为联邦训练去中心化执行。在训练过程中，大部分计算都是在本地代理上进行的，同时私有的测量数据和策略也保存在本地。训练效率类似于集中式学习算法，在所提出的算法中仅交换少量标量，可扩展性、隐私性和通信效率显着增强，这种方法的计算大多在本地代理上分布，仅在训练期间与协调者交换少量标量，从而显著提高了可扩展性、隐私保护和通信效率。

2、为实现上述目的，本发明提供基于联邦学习和去中心化执行的配电网络电压控制方法，包括：

3、步骤s1：确定旨在最小化有功功率损耗的优化目标函数及其电压和功率输出的约束条件；

4、步骤s2：在联邦学习框架中配置本地代理和协调者，定义他们之间的协调机制；

5、步骤s3：应用基于冻结评论函数和随机梯度下降优化器的多代理强化学习算法进行参数更新；

6、步骤s4：执行去中心化电压控制，主要在本地代理上进行计算并限制训练期间的数据交换量。

7、进一步地，步骤s1包括：

8、步骤s11：确立配电网络的主要目标为最小化有功功率损耗，同时考虑光伏发电系统和静态无功补偿器的无功功率贡献；

9、步骤s12：为保障电网安全运行，电压幅值必须保持在规定的上下限之间；

10、步骤s13：根据各光伏发电机的实际容量和有功功率输出，设定其无功功率输出的范围；

11、步骤s14：对每个静态无功补偿器，在其工作节点上设定无功功率输出的下限和上限。

12、进一步地，步骤s2包括：

13、步骤s21：在系统中部署多个本地代理，每个代理控制特定区域或设备，并指定一个协调者来整合和协调这些代理的工作；

14、步骤s22：制定具体的算法和协议，使得本地代理可以根据全局目标和局部信息进行自主优化，同时通过协调者进行集中式调整和决策支持。

15、进一步地，步骤s3包括：

16、步骤s31：采用适用于多代理系统的强化学习算法，允许代理在没有中央指令的情况下学习最优策略；

17、步骤s32：利用冻结的评论函数来稳定学习过程，并通过随机梯度下降(sgd)优化器更新代理的策略参数；

18、步骤s33：为了提高学习效率和稳定性，从经验回放缓冲区抽取样本进行批量更新。

19、进一步地，步骤s4包括：

20、步骤s41：每个代理在自己的区域内根据当前状态和学到的策略独立执行计算任务，无需等待中央处理器的指令。

21、步骤s41：在整个训练和执行过程中，代理之间及代理与协调者之间只交换必要的少量信息，如策略更新信号和系统状态的标量表示，以降低通信成本并提升隐私保护。

22、步骤s41：协调者根据各代理反馈的信息，进行全局调整和优化，以确保整个系统的目标被满足。

23、进一步地，步骤s1中所建立的优化目标函数为：

24、

25、式中lopt为目标，ploss为dn的有功功率损耗，为静态无功补偿器的无功功率向量。是光伏发电无功功率的矢量，测量数据是从vpp控制器收集的，其中是第i个vpp中第j个节点的有功/无功功率和电压幅值有功/无功功率和电压幅值，ni是第i个vpp中的节点集合，a是所有vpp的集合；

26、电压限制约束：

27、

28、式中，v，是电压幅值的上限和下限，

29、发电机无功功率输出约束：

30、

31、式中，分别为第i个光伏发电机在节点j处的容量和有功功率，是第i个代理控制的发电机；

32、静态无功补偿器的无功功率输出约束：

33、

34、式中是第i静态无功补偿器在节点j的无功功率输出的下限和上限，是第i个代理控制的静态无功补偿器；

35、通过分布式方法解决公式(1)到(4)，将分散优化制定为采用多智能体反馈结构的马尔可夫博弈(mg)，定义一个带有|a|的mg代理，第i个局部观测标记为第i个局部动作为所有观测值的组合表示为o＝{o1,...,on}，所有动作的值表示为a＝{a1,...,an}，根据优化目标有功功率损耗和约束条件设计奖励函数为其中[·]+定义为[x]+＝max(0,x)，rv,i是区域i中的总电压违规幅度且rv,i≥0，当且仅当区域i中的所有电压幅度满足电压约束时，等式成立，请注意，r是分散结构，但ri取决于全局的观测和动作。

36、进一步地，步骤s2中criticq函数定义为：

37、

38、oi,t是第i个智能体在时间t的观测值，α是最大熵技术的软约束参数，q(o,a)包括第一项的预期累积奖励和第二项的策略熵，第一项是耦合的，第二项是解耦的，q(o,a)的估计可以分解为：

39、

40、耦合部分f(c1,...,cn)用于全局目标，解耦部分只需要局部信息并且仅在局部使用，因此将其表示为

41、对于每个样本，q函数的目标值为

42、

43、

44、式中冻结的批评函数被标记为冻结参数为这里a′i～πi(·|o′i),i∈a是在本地代理上生成的，y表示期望累积奖励目标，表示第i个政策熵目标，智能体i计算协调器计算参数θi,φf通过步骤s4中的随机梯度下降(sgd)优化器进行小批量更新，算法中的b表示来自经验回放缓冲区的一批nb样本

45、优化批评家的损失函数推导为：

46、

47、

48、的最终值集中在协调器上，但可以分散为在第i个代理上计算ci,

49、进一步地，步骤s3中：

50、

51、

52、式中充当局部批评函数ci之间的协调器；

53、通过协调ci，第i个局部策略πi可以通过最大化状态价值函数来更新：

54、

55、第i个策略要最小化的损失函数为：

56、

57、在第i个智能体上，lθ的优化是分散的，以sgd作为梯度方程：

58、

59、等式(9)到(13)中的所有期望e是通过nb样本的平均值来近似的。

60、进一步地，步骤s4中，根据步骤s2和s3，制定两个向量ui、di分别在代理i上上传和下载，

61、

62、

63、进一步地，联邦学习和分布式电压控制的算法步骤如下：

64、1)初始化所有神经网络(nn)参数和缓冲区，设置学习率、时间线；

65、2)在每一步骤中，每个代理i分别进行学习，获取其观测值oi,t，应用动作ai,t(从策略πi(oi,t)中抽取)，并将观测值、动作和奖励r′i存储在本地缓冲区di中；

66、在每个梯度步骤中，协调者和代理之间进行以下操作:

67、·协调者向代理发送小批量样本指标ib；

68、·代理i从本地di中采样，并在本地计算更新ui，然后发送给协调者；

69、·协调者计算并将di发送回代理i；

70、更新步骤包括:

71、·在协调者上，通过方程(10)使用梯度下降更新全局梯度φf；

72、·在每个代理i上，更新其本地nn参数和再通过方程(11)和(13)更新策略参数θi，这个过程重复进行，直到达到收敛或预定的学习步骤完成。

73、与现有技术相比，本发明的有益效果是：

74、1.本发明提供了基于联邦学习和去中心化执行的配电网络电压控制方法，通过采用联邦学习框架，算法能够在多个虚拟电厂(vpp)和配电网络中部署，每个本地代理可以独立学习和执行，而不受中心处理单元的限制。这种分散式的架构允许系统轻松扩展到更大的网络和更多的设备，无需对中心计算资源进行大规模升级。

75、2.本发明提供了基于联邦学习和去中心化执行的配电网络电压控制方法，由于计算主要在本地代理上执行，且仅在必要时交换有限的信息，敏感数据如功率输出和电压水平等可以保留在本地，不必在网络中广泛共享。这种方法自然减少了数据暴露的风险，增强了用户和设备的隐私保护。

76、3.本发明提供了基于联邦学习和去中心化执行的配电网络电压控制方法，联邦强化学习算法减少了中心和代理之间的数据传输需求，因为它仅需要交换策略更新或决策相关的少量信息。这大大降低了网络的通信负担，特别是在带宽受限或通信成本较高的环境中非常有价值。

77、4.本发明提供了基于联邦学习和去中心化执行的配电网络电压控制方法，算法支持在配电网络中实施有效的去中心化电压控制，允许每个参与的虚拟电厂或代理基于本地信息和学习到的策略独立作出决策。这种去中心化的方法提高了系统对局部变化的响应速度和适应性，同时还可以提升整个电网的稳定性和效率。