一种配电网电压分布式实时控制方法

技术特征：
1.一种配电网电压分布式实时控制方法，其特征在于，包括以下步骤：(1)、将光伏逆变器随机接入配电网；获取配电网的拓扑结构，在拓扑结构的不同节点上随机分散接入光伏逆变器，其中，接入光伏逆变器的个数为m1；(2)、获取拓扑结构中各个节点注入的有功功率及无功功率，遍历拓扑结构的各个节点，若节点i接入了光伏逆变器k，k＝1,2
…
,m1，那么节点i在和时刻l时实际注入的有功功率p
i
(l)和无功功率q
i
(l)分别为：p
i
(l)＝p
i,k,pv
(l)-p
i,k,c
(l)q
i
(l)＝q
i,k,pv
(l)-q
i,k,c
(l)若节点i未接入了光伏逆变器k，那么节点i在时刻l时实际注入的有功功率p
i
(l)和无功功率q
i
(l)分别为：p
i
(l)＝-p
i,c
(l)q
i
(l)＝-q
i,c
(l)其中，i＝1,2,
…
,n，n表示配电网拓扑结构中节点数量，l＝1,2,
…
,t，t为采样时刻总数，p
i,k,c
(l)表示光伏逆变器k连接节点i在时刻l时的负荷有功功率，p
i,c
(l)表示无光伏逆变器连接节点i在时刻l时的负荷有功功率，p
i,k,pv
(l)表示光伏逆变器k连接节点i后在时刻l时注入的总有功功率，q
i,k,c
(l)表示光伏逆变器k连接节点i在时刻l时的负荷无功功率，q
i,c
(l)表示无光伏逆变器连接节点i在时刻l时的负荷无功功率，q
i,k,pv
(l)表示光伏逆变器k在连接节点i后在时刻l时注入的总无功功率；(3)、构建多智能体深度确定性梯度策略模型maddpg；其中，表示输入状态时的电压值；s表示所有光伏逆变器状态的合集；设置maddpg更新参数为θ，θ＝[α,β]，其中π为动作选择π(
·
)的参数，β为引入注意力机制的评价网络函数q(
·
)的参数，每个光伏逆变器都有一个动作选择函数和引入注意力机制的评价网络函数，即α＝[α1,α2,
…
,α
k
]，β＝[β1,β2,
…
,β
k
]；动作选择函数π的损失函数采用策略梯度更新算法：其中，d表示经验池的数据集合，
▽
α
π(a
k
|s
k
)表示动作选择函数的下降方向，表示注意力机制控制算法q(
·
)的下降方向，s表示所有光伏逆变器的状态集合，a表示所有光伏逆变器动作的集合；引入注意力机制的评价网络函数q(
·
)损失函数采用最小化算法其中，y表示目标值，评价网络函数通过最小化和目标值y之间的差值来更新参数；(4)、训练多智能体深度确定性梯度策略模型maddpg(4.1)、每个时刻l光伏逆变器k的状态s
k
(l)，s
k
(l)＝(p
i,k,c
(l),q
i,k,c
(l),p
i,k,pv
(l))，每个时刻l全局状态信息为s(l)＝(s1(l),s2(l),
…
,s
k
(l))，随机为θ进行初始化赋值；(4.2)、依据步骤(4.1)的状态s
k
(l)获取光伏逆变器k的动作值，a
k
(l)＝π
k
(s
k
(l))，光伏逆变器k的动作值只包括其总无功出力，即a
k
(l)＝q
i,k,pv
(l)，每个时刻l全局动作信息a(l)
＝(a1(l),a2(l),
…
,a
k
(l))；(4.3)、将步骤(4.2)获得的动作a(l)值带入步骤(2)获得l时刻配电网节点i在不同相位注入的有功功率p
i
(l)和无功功率q
i
(l)，将时刻l配电网所有节点的有功功率与无功功率输入到训练好的预测代理模型中，获得l时刻配电网所有节点电压值u
i
(l)；(4.4)、依据步骤(4.3)获得的配电网电压值u
i
(l)计算当前时刻l的实时奖励值:其中，r(l)表示时刻l时的实时奖励，η为电压越过阈值的惩罚值；(4.5)、判断当前时刻奖励值r(l)是否收敛，若收敛，训练结束，输出配电网所有节点电压u
i
(l)并跳转至步骤(5)；否则，利用梯度下降法对参数θ进行更新，然后进入步骤(4.6)；其中，λ表示参数更新的学习率，
▽
θ
l(θ)表示下降趋势，l表示迭代次数，l>1，θ
′
(l)表示第l次更新以后的参数值，即θ
′
(l)＝[α
′
,β
′
]；(4.6)、参数θ
′
(l)＝[α
′
,β
′
]替换maddpg的参数θ＝[α,β]，然后判断当前时刻l是否达到最大采样时刻t，若达到最大采样时刻t，进入步骤(5)，未达到，令l＝l 1，跳转至步骤(4.2)；(5)、电压实时控制实时采集配电网在当前时刻的状态s，然后输入至训练好的多智能体深度确定性梯度策略模型maddpg，按照步骤(4.2)-(4.3)所述方法获取配电网所有节点在当前时刻下的电压值。

技术总结
本发明公开了一种配电网电压分布式实时控制方法，首先将每一个光伏逆变器建模为一个智能体，配电网作为和智能体进行交互的环境，然后建立多智能体深度强化学习型交互机制，通过预测代理模型提供的电压值计算即时奖励，从历史数据中学习电压调节策略，训练过程采用中心式方法，训练完成后将每个智能体分布式部署从而根据最新观测的信息进行实时电压控制策略。该方法可以在不了解系统参数和拓扑的情况下实时提供电压控制。下实时提供电压控制。下实时提供电压控制。


技术研发人员：曹迪 胡维昊 席先鹏 张真源 井实 李思辰 黄琦 李坚 杜月芳 张蔓
受保护的技术使用者：电子科技大学
技术研发日：2022.08.22
技术公布日：2022/11/11