一种电动汽车配电网优化调度方法与流程

本发明涉及电网优化调度领域，尤其涉及一种电动汽车配电网优化调度方法。

背景技术：

1、全球碳排放统计中，全球电力和热力生产行业贡献42%的二氧化碳排放，工业、交通运输业分别贡献为18.4%和24.6%。

2、为了降低交通系统碳排放水平，将基于化石燃料的交通系统替换为基于电力的交通系统是一条有效的技术路径。根据现有的传统汽油车和电动汽车技术水平，以火力发电站为电动汽车提供电力的场景计算，电动汽车单位里程的碳排放量是同级别传统汽油车排放水平的50%左右。

3、同时在电池技术突破的推动下，电动汽车迅速成为化石燃料汽车的替代品。然而，大规模电动汽车接入电网将带来挑战，如频率漂移和电压波动。配电网的电压稳定性是一个需要重点关注的问题。电动汽车不受控制的充电过程会影响配电网的电压稳定性。尤其当电动汽车以车联网(v2g)模式接入电网时，这种情况会进一步恶化。此外，分布式发电机(dg)接入电力系统会改变潮流方向，分布式发电机(dg)向上游注入有功功率会导致电压升高并干扰电压/无功控制(vvc)设备。

4、在传统的vvc实践中，有载分接开关(oltcs)、电压调节器(vrs)和可切换电容器组(scb)等电压调节设备被用来缓解电压违规。对于逆变器控制的可再生能源接入问题，多阶段方法已被广泛用于配电网的vvc。为了协调vvc设备和分布式电源，广泛使用神经网络和基于学习的方法，但现有基于学习的方法没有考虑电动汽车充电对电压稳定性的影响，也没有考虑电动汽车参与电压控制的可能性。

5、电动汽车参与配电网的电压调节。一方面，电动汽车的充电行为受到电价的刺激；另一方面，电动汽车可以在v2g模式下运行。通过调整电动汽车的充电功率或放电功率，有助于稳定配电网的电压。且当面临大规模电动汽车充电的问题时，电动汽车的充电过程由聚集器或中央控制器管理。但是电动汽车的充电过程具有很大的不确定性，这就需要对电动汽车的充电需求进行估计和预测。人工智能方法由于其在处理高维数据和非线性问题方面的优势而受到关注。但现有研究只是从需求响应(dr)的角度来研究电动汽车的充电问题。电动汽车充电负荷的容量和接入位置会影响配电网的潮流分布，无序的电动汽车充电会降低配电网的电压稳定性。

6、综上所述，目前的研究更多地关注电动汽车dn（配电网）或dr的vvc，而同时考虑两者并进行协调优化的研究较少。

技术实现思路

1、为解决上述问题，本发明提供一种电动汽车配电网优化调度方法，通过两层调度控制策略使代理能够学习一种经济的调度策略，并保持配电网的电压稳定性，且采用数据驱动，不依赖于系统中的不确定模型。

2、为实现上述目的，本发明提供了一种电动汽车配电网优化调度方法，包括以下步骤：

3、s1、考虑系统状态变量，基于电动汽车充电计划和配电网电压控制问题构建mdp模型，通过vvc设备和电动汽车以及分布式发电机的协同控制，实现自动电压调节和降低电动汽车充电成本；

4、s2、基于电动汽车充电计划和配电网电压控制问题，构建深度神经网络框架，使用深度确定性策略梯度算法训练深度神经网络，以输出离散和连续的控制动作。

5、优选的，步骤s1所述的系统状态包括电动汽车用户充电行为引起的充电过程的不确定性以及不可控负荷、系统动态电价和可再生能源发电的不确定性。

6、优选的，步骤s1具体包括以下步骤：

7、s11、构建协作式电动汽车充电和电压控制框架，协作式电动汽车充电和电压控制框架包括电动汽车、分布式发电机和可再生能源，且电动汽车由智能终端控制；

8、s12、基于协作式电动汽车充电和电压控制框架构建可控单元；

9、s13、对配电网系统中的电动汽车、分布式发电机和电压控制设备进行建模，并设定操作约束条件获得mdp模型，mdp模型的上层设置为调度层，其用于根据系统状态输出所有可调度单元的控制信号，mdp模型的下层为电压控制层，用于接收上层控制信号并控制dn系统中的可调度单元。

10、优选的，步骤s12所述的可控单元构建步骤如下：

11、s121、构建电动汽车：

12、设定电动汽车的控制变量是充电功率，则对于连接到配电网节点的电动汽车，控制变量表示为；在v2g模式下是放电功率，此时的值充电时为正，放电时为负，基于充电策略的充电功率约束为：

13、(1)

14、式中，为电动汽车的最大充电功率；为电动汽车的最大放电功率；为调度期间；为节点集合；为一组时隙；

15、且电动汽车电池的充电状态在调度期间内满足以下约束条件：

16、(2)

17、(3)

18、式中，和分别为电动汽车电池在时刻和时刻的充电状态；为电动汽车电池的容量；和分别为充电速率和放电速率；和分别表示充电状态的最大值和最小值；为一个时间步长的间隔；

19、s122、构建分布式发电机：

20、设定分布式发电机的控制变量为有功功率输出和无功功率输出，则节点处的分布式发电机的有功功率和无功功率满足以下约束条件：

21、(4)

22、(5)

23、式中，为最大有功功率；为最小无功功率；

24、s123、构建有载分接开关和电压调节器：

25、有载分接开关和电压调节器通过改变抽头位置控制，接入配电网分支的控制变量表示为，在整数范围内变化且满足以下约束条件：

26、(6)

27、式中，为抽头的最大可调节位置；为配电网分支集合；

28、s124、构建可切换电容器组：

29、设定通过调节操作单元的数量调整可切换电容器组提供的无功功率的值，则节点处的可切换电容器组的操作单位数量取整数且满足以下条件：

30、(7)

31、式中，为操作单位的最大数量。

32、优选的，步骤s13所述的操作约束条件如下：

33、约束变电站能够承受的复杂功率：

34、(8)

35、式中，、、分别为变电站的有功功率、无功功率和最大视在功率；

36、约束节点电压：

37、(9)

38、式中，和分别为节点电压的最大值和最小值；

39、约束分支电流：

40、(10)

41、式中，和分别为分支电流的最大值和最小值。

42、优选的，步骤s13所述的mdp模型构建步骤如下：

43、第一步、设定配电网系统的状态变量：

44、（11）

45、式中，为配电网系统在任意时刻的状态变量；分别为节点处时刻的有功功率需求；分别为节点处时刻的有功功率需求；分别为时刻的历史电价；和分别为节点处的风力机功率输出和光伏功率输出；分别为节点处的电荷状态；为开始充电时间；分别为节点处的触发时间；分别为的预期充电状态；

46、假设风力机和光伏为不可控电源，计算节点的净负载需求：

47、（12）

48、将公式（12）代入公式（11）求得：

49、（13）

50、式中，分别为点处时刻的净负载需求；

51、第二步、设定配电网系统的动作变量：

52、设定系统的动作变量包括布式发电机的有功功率和无功功率、电动汽车的充电能力、有载分接开关的抽头位置以及可切换电容器组的数量：

53、（14）

54、式中，为配电网系统的动作变量；分别表示节点处的分布式发电机的有功功率；分别表示节点处的分布式发电机的无功功率；分别表示节点处的可切换电容器组的操作单位数量；分别表示节点处的有载分接开关的抽头位置；

55、第三步、考虑配电网系统的运行成本和电压稳定目标设置奖励函数，其中，运行成本包括配电网通过变电站与主电网交互的成本、分布式发电机的产生成本和电动汽车的充电成本：

56、（15）

57、式中，为权重系数，其表示奖励函数为运行成本与电压稳定目标之间的权衡值；为从电力交易所购买电力的成本；为节点处的分布式发电机的产生成本；为节点处的电动汽车的充电成本；为违反电压约束的惩罚；

58、其中，电力交易所购买电力的成本的计算公式如下：

59、（16）

60、式中，分别为时刻的历史电价；

61、节点处的分布式发电机的产生成本计算公式如下：

62、（17）

63、式中，、、均为发电成本系数；

64、电动汽车的充电成本计算公式如下：

65、（18）

66、式中，为节点处的历史电价；

67、违反电压约束的惩罚计算公式如下：

68、（19）

69、式中，为电压偏差的惩罚系数；

70、第四步、设置目标函数。

71、优选的，目标函数计算公式如下：

72、（20）

73、式中，为计划周期内的预期累积折扣回报；分别为时间步的奖励；分别为时间步的折扣因子；表示求和。

74、优选的，步骤s2所述的深度确定性策略梯度算法为双层结构，其中调度信号和控制信号均由代理的上层输出，下层通过控制配电网中的可控制单元来获得完整的奖励值。

75、优选的，步骤s2具体包括以下步骤：

76、s21、在强化学习框架下，学习代理与构建的mdp模型相互交互，将优化问题转化为标准的强化学习框架，其目标如下：

77、（21）

78、式中，为状态；表示预期回报；表示用于描述在状态遵循策略的预期奖励的行动价值函数；为预期回报的集合；

79、s22、通过递归求解贝尔曼方程求解最优动作值函数，并基于得到的最优策略，描述优化问题：

80、（22）

81、式中，表示最优策略的期望值；表示t时刻的奖励；表示折扣因子；表示用于描述在状态最优策略的预期奖励的最优行动价值函数；

82、s23、构建深度确定性策略梯度算法，确定评论家参数：

83、（23）

84、式中，表示从重放缓冲区中采样的样本批量大小；表示损失函数的目标；表示近似函数；表示当前值的目标值；

85、s24、基于深度确定性策略梯度算法对参与者价值网络的参数进行更新：

86、（24）

87、式中，表示函数逼近器在确定性目标策略下的梯度算子；表示开始分发的预期回报；表示更新后的期望值；表示参与者函数；表示；表示权重的梯度；表示行为参数；表示状态参数。

88、s25、使用更新的评论家和演员网络对目标网络进行软更新，直到得到收敛策略：

89、（25）

90、式中，表示更新后的行为参数；表示更新后的状态参数；表示软更新系数。

91、优选的，在步骤s24之后还包括步骤s25；

92、其具体包括以下步骤：

93、使用更新的评论家和演员网络对目标网络进行软更新，直到得到收敛策略：

94、（25）

95、式中，表示更新后的行为参数；表示更新后的状态参数；表示软更新系数。

96、本发明具有以下有益效果：

97、1、考虑到配电网的电压稳定性，建立具有未知转移概率的mdp模型来解决电动汽车充电问题。且通过设计的奖励函数平衡电动汽车充电目标和电压稳定性目标，能够学习经济的调度策略并保持配电网的电压稳定；

98、2、引入无模型ddpg算法求解协调优化问题，可输出混合连续调度信号和离散控制信号，采用数据驱动，不依赖于系统中的不确定模型；

99、3、采用双层协调电动汽车充电和电压控制框架，以最小化电动汽车充电成本和稳定配电网电压。

100、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。