一种基于强化学习的直驱风电场等值建模方法及装置与流程

本发明涉及电力系统分析领域，尤其涉及一种基于强化学习的直驱风电场等值建模方法及装置。

背景技术：

1、在电力系统迎来绿色清洁能源的同时，也带来了新的问题与新的挑战。新能源具有随机性、间歇性与不确定性的特性，且新能源发电通过换流器与交流电网进行连接，随着新能源的渗透率不断增加，新能源发电的上述特点使得电力系统的电压稳定、频率稳定、短路电流等问题愈发突出，对于新能源接入的地区电网的暂态特性变化愈发得到广泛的关注。目前，对于电网的特性认识主要依赖于详细的对象建模与多尺度、多场景下的仿真。同时，对于新能源发电及换流器的详尽研究，还需要在电磁暂态仿真环境下进行仿真，这也是分析研究新能源发电与电网之间交互影响的重要手段。因此，为全面且精细化研究高比例新能源接入对复杂大电网的暂态稳定的影响，必须提升含新能源的复杂电网电磁暂态仿真模型的完整性和准确性。但是，在进行电磁暂态仿真时会受到仿真资源和计算效率的限制，因此对于新能源场站进行等值建模是必要的。

2、随着信息技术与计算机技术的不断发展，强化学习这一概念之间兴起并进行大量研究。合理运用电力系统的运行特性数据，基于电力系统本身的物理特性，将电力系统中的优化控制等问题凝练为马尔可夫问题并借助强化学习工具进行高效求解。但是，现有基于强化学习的风电场建模工作大多直接通过模型的动态数据对模型参数进行辨识，缺乏对风电模型的机理特性与动态特性数据之间相互作用的机理考虑，不同的场景或不同类型的特性数据均可能带来参数辨识结果的偏差，无法保证风电场等值模型参数的有效性。

技术实现思路

1、本发明实施例提供一种基于强化学习的直驱风电场等值建模方法及装置，提高参数风电场模型参数辨识的效率和准确性。

2、为实现上述目的，本技术实施例的第一方面提供了一种基于强化学习的直驱风电场等值建模方法，包括：

3、根据实际直驱风电场构建原始直驱风电场模型；

4、对所述原始直驱风电场模型进行预设故障设置，得到故障期间和故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线；

5、对所述原始直驱风电场模型进行单机等值化，得到等值直驱风机并网模型；

6、根据故障期间和故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线，采用ddqn算法分别对故障期间和故障恢复期间的等值直驱风机并网模型的参数组合进行迭代优化。

7、在第一方面的一种可能的实现方式中，所述根据实际直驱风电场构建原始直驱风电场模型，具体包括：

8、根据实际直驱风电场各个机组的硬件参数、控制参数和预设场景下的风速，得到原始直驱风电场模型。

9、在第一方面的一种可能的实现方式中，所述根据实际直驱风电场构建原始直驱风电场模型之后，还包括：

10、对所述原始直驱风电场模型进行有效性验证，若所述原始直驱风电场模型不满足预设验证条件，重新根据实际直驱风电场构建新的原始直驱风电场模型。

11、在第一方面的一种可能的实现方式中，所述对所述原始直驱风电场模型进行有效性验证，若所述原始直驱风电场模型不满足预设验证条件，具体包括：

12、将所述原始直驱风电场模型接入无穷大系统模拟并网；

13、在第一功率输出情况和第二输出功率输出情况下，对所述实际直驱风电场和所述原始直驱风电场模型进行电压跌落试验，比较所述实际直驱风电场的电压曲线、无功功率曲线、有功功率曲线与所述原始直驱风电场模型相应的电压曲线、无功功率曲线、有功功率曲线，若存在不一致的曲线，所述原始直驱风电场模型不满足预设验证条件。

14、在第一方面的一种可能的实现方式中，所述对所述原始直驱风电场模型进行预设故障设置，得到故障期间和故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线，具体包括：

15、根据所述实际直驱风电场各机组日内多个时刻风速平均值，设置所述原始直驱风电场模型各机组的风速；

16、在所述原始直驱风电场模型的并网点设置三相短路故障，监测所述原始直驱风电场模型受到扰动后和恢复过程的电压参考曲线、有功功率参考曲线和无功功率参考曲线。

17、在第一方面的一种可能的实现方式中，所述对所述原始直驱风电场模型进行单机等值化，得到等值直驱风机并网模型，具体包括：

18、根据所述原始直驱风电场模型，确定等值直驱风机并网模型的参数组合和参数数目；

19、根据所述等值直驱风机并网模型的参数初值，在预设参数变化范围内，生成多种参数组合；

20、根据预设评估模型和故障期间以及故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线，评估不同参数组合下的所述等值直驱风机并网模型故障期间和故障恢复期间的电压曲线、有功功率曲线和无功功率曲线，得到所述等值直驱风机并网模型在不同参数组合下的评估值；

21、根据多组参数组合和评估值，结合sobol方法计算每个参数的全局灵敏度。

22、在第一方面的一种可能的实现方式中，所述根据预设评估模型和故障期间以及故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线，评估不同参数组合下的所述等值直驱风机并网模型故障期间和故障恢复期间的电压曲线、有功功率曲线和无功功率曲线，得到所述等值直驱风机并网模型在不同参数组合下的评估值，具体包括：

23、分别对所述原始直驱风电场模型在故障期间和故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线进行第一次均匀采样；

24、分别对所述等值直驱风机并网模型在故障期间以及故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线进行第二次均匀采样；

25、将两次均匀采样的结果按照曲线种类和时间依次代入预设评估模型，得到所述等值直驱风机并网模型在不同参数组合下的评估值。

26、在第一方面的一种可能的实现方式中，所述根据故障期间和故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线，采用ddqn算法分别对故障期间和故障恢复期间的等值直驱风机并网模型的参数组合进行迭代优化，具体包括：

27、根据所述等值直驱风机并网模型中每个参数的全局灵敏度，确认故障期间电压曲线、故障恢复期间电压曲线、故障期间有功功率曲线、故障恢复期间有功功率曲线、故障期间无功功率曲线、故障恢复期间无功功率曲线六类曲线的迭代优化顺序；

28、按照迭代优化顺序，将所述等值直驱风机并网模型在当前参数组合下的故障期间和故障恢复期间的电压曲线、有功功率曲线、无功功率曲线与对应参考曲线的均方误差作为优化目标，进行基于ddqn算法的迭代优化。

29、在第一方面的一种可能的实现方式中，所述进行基于ddqn算法的迭代优化，具体包括：

30、根据均方误差构建智能体的状态空间与动作空间；

31、构建初始参数和结构相同的评估网络和目标网络；

32、根据当前状态下的动作空间，选择执行动作，生成预设数量的执行过程后得到经验空间；

33、根据经验空间，构造评估网络期望函数，以评估网络的网络值和期望值的差值最小为目标进行多次迭代，每次迭代后将评估网络更新到目标网络，达到预设迭代次数后将最后输出的参数组合作为等值直驱风机并网模型参数。

34、本技术实施例的第二方面提供了一种基于强化学习的直驱风电场等值建模装置，包括：

35、第一模型构建模块，用于根据实际直驱风电场构建原始直驱风电场模型；

36、故障设置模块，用于对所述原始直驱风电场模型进行预设故障设置，得到故障期间和故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线；

37、第二模型构建模块，用于对所述原始直驱风电场模型进行单机等值化，得到等值直驱风机并网模型；

38、迭代优化模块，用于根据故障期间和故障恢复期间的电压参考曲线、有功功率参考曲线和无功功率参考曲线，采用ddqn算法分别对故障期间和故障恢复期间的等值直驱风机并网模型的参数组合进行迭代优化。

39、相比于现有技术，本发明实施例提供的一种基于强化学习的直驱风电场等值建模方法及装置，评估对等值直驱风机并网模型在各种参数组合下等值直驱风机并网模型三相短路故障发生时和恢复期间的电压、有功功率、无功功率曲线与原始直驱风电场模型对应曲线的相似度，根据相似度确认优化顺序后，采用ddqn算法分别对故障期间和故障恢复期间的等值直驱风机并网模型的参数组合进行迭代优化，通过分析不同参数在故障发生阶段和故障恢复阶段对电压、有功功率、无功功率曲线调节的灵敏度，实现分阶段对参数辨识，在保留辨识精度的前提下采用ddqn算法简化了辨识的复杂程度。