使用强化学习方法控制风电场的方法与流程

本发明涉及用于最大化所产生的电力的风电场控制领域。风电场，也称为风力发电园或风力发电设施，是一组发电的风力涡轮机。它们可位于陆上或海上。因此，陆上风电场和海上风电场，即海边的风电场，之间存在区别。这些发电场的风力涡轮机通常是水平轴涡轮机，其设有用于将水平旋转轴沿风的方向定向的系统，从而最大化涡轮机回收的能量。风力涡轮机可以将风的动能转化为电能或机械能。对于风能到电能的转换，风力涡轮机由以下元件组成：-塔架，该塔架允许转子定位在足够的高度以使其能够运动(对于水平轴风力涡轮机来说是必要的)，或者允许该转子定位在使其能够由比在地面水平处更强且更规则的风来驱动的高度处。塔架通常容纳部分电气部件和电子部件(调制器、控制器、倍增器、发电机等)，-安装在塔架顶部处的吊舱，该吊舱容纳机械部件、气动部件、操作机器所需的一些电气部件和电子部件(调制器、控制器、倍增器、发电机等)。吊舱可以旋转，从而将转子沿正确的方向定向，-紧固至吊舱的转子，该转子包括多个叶片(通常为三个)和风力涡轮机的毂部。转子由风能驱动，并通过机械轴直接或间接(经由齿轮箱和机械轴系统)连接到电机(发电机)，电机将回收的能量转换为电能。转子可能设有控制系统，诸如可变角度叶片或空气动力学制动器，-可能还有变速器，该变速器特别地由通过倍增器(齿轮箱)连接的两个轴(转子的机械轴和电机的机械轴)组成。自20世纪90年代初以来，人们对风力发电重新产生了兴趣，特别是在欧盟，其年增长率为约20％。这种增长归因于无碳发电的固有可能性。为了维持这种增长，风力涡轮机和风电场的发电量仍需要进一步改进。风电生产增长的前景需要开发有效的生产工具和先进的控制工具，以改进机器的性能。风力涡轮机设计为以尽可能低的成本发电。对于这种功率调节，控制器已经设计为用于变速风力涡轮机。控制器的目的是最大化回收的电力，以最小化转子速度波动，并且以最小化结构(叶片、塔架和平台)的疲劳和极限力矩。

背景技术：

1、当位于风电场上游的涡轮机产生的扰动给其他涡轮机造成次优的发电条件时，风电场遭受通常被称为“尾流效应”的现象。事实上，涡轮机下游形成了湍流尾流，并且由于涡轮机捕获了部分的风的动能，因此在该尾流中平均风速降低，并且湍流的强度增加。

2、用于最大化风力涡轮机的能量产生的常见策略包括将其转子定向成使其面向风。转子与风向之间的角度为0°，该角度称为偏航角。图1借助非限制性示例示意性地示出了偏航角。图1是风力涡轮机的俯视图。涡轮机包括沿方向aa定向的叶片1和吊舱2。风由具有方向dd的箭头u表示。aa方向和dd方向之间的角度γ是偏航角。当涡轮机的转子与风向对准时，该角度γ为零。

3、然而，在风电场中，根据一种称为“贪婪法”的方法将这种策略(零偏航角)应用于所有涡轮机，会使风电场受到所谓的尾流效应的影响：当风力涡轮机从风中提取能量时，下游风速减小，而其湍流增大。这导致位于下游的涡轮机的次优的能量产生条件，并且海上总生产损失可达40％。可以使用一定数量的可控执行器来减少这种影响：可以通过控制叶片的定向或发电机扭矩来影响功率捕获，可以通过倾斜转子平面或者在侧面上通过修改偏航来将涡轮机的尾流偏转到下游涡轮机下方，这是称为尾流转向的技术。

4、为了解决这个问题，一种策略包括使用偏航致动器使涡轮机相对于入射风向错位(不对准)，这实现了尾流重定向，从而限制对下游涡轮机的影响。寻找最佳偏航角(最大化风电场的总电力)是一个复杂的问题。

5、对于这个复杂的问题，可以考虑传统的控制方法：它们在风电场中使用风传播模型，并根据该近似值来优化偏航角。已经提出了使用解析近似或数值计算的各种模型，但此类模型缺乏精度，并且它们忽略了湍流风动力学和尾流传播，从而导致对风电场中的尾流效应的估计较差。存在一些更高保真度(逼真度)的模型，它们考虑了尾流平流、偏转、蜿蜒和合并，但它们消耗时间和计算资源，这不利于它们用于实时优化。

6、使用无模型方法可以克服此类约束。强化学习(rl)就是其中一个示例：它的方法通过试错法来学习，并且它们仅通过观察系统对输入变化的响应来推断出最佳动作。这种在线学习方法特别有益，因为建模的不确定性使得有必要在现场遗忘在建模中学到的一些次优行为。然而，与分散式方法的结合并不明显：分散式算法限制了对于每个涡轮机问题的可观察性，使得它们的环境不固定。在此期间，风传播动力学阻止观察控制器的影响，直到尾流已传播到下游，并且由于多个尾流的累积效应，风传播动力学使得将功率变化分配给正确的控制器变得更加困难。

7、强化学习方法也已经用于了用于风电场的经由偏航控制的自动生产控制：文献“s.vijayshankar、p.stanfel、j.king、e.spyrou和k.johnson的用于风电场自动发电控制的深度强化学习(deep reinforcement learning for automatic generation controlof wind farms)，2021年美国控制会议(acc，american control conference)，第1796±1802页，2021”使用了利用轴向归纳因子作为控制变量的集中式深度学习算法ddpg(深度确定性策略梯度，deep deterministic policy gradient)。在文献“h.dong、j.zhang和x.zhao的通过深度强化学习和高逼真度模拟实现智能风电场控制(intelligent windfarm control via deep reinforcement learning and high-fidelity simulations)，应用能源(applied energy)，第292卷，2021年第c辑”，ddpg与离线监督学习相结合，这导致高逼真度风电场模拟中的额定输出功率的显著增加。然而，与这些集中式方法相关的问题的尺寸(维度)随着涡轮机数量的增加而增加，这提出了到更大的风电场的可扩展性的问题。特别地，在第二份文献(dong等人，2021年)中，作者利用其用例中的涡轮机布局特有的对称性来减少问题的尺寸(维度)，但这不能被转用到其他风电场布局。

8、为了解决这个问题，已经测试了分散式学习方法，并且这些方法已经导致在几个风电场模拟中总发电量的显著增加。然而，这些方法中的大多数都忽略了风电场中的尾流传播延迟(特别是在文献“z.xu、h.geng、b.chu、m.qian和n.tan的使用分散式强化学习的用于风电场的效率改进的无模型优化方案(model-free optimization scheme forefficiency improvement of wind farm using decentralized reinforcementlearning)，ifac-papersonline，第53卷，第2期，第12103±12108页，2020年，第21届ifac世界大会”中)。这些方法已在忽略尾流传播延迟的模拟器上进行了测试。现在，如果通过考虑尾流传播延迟来应用这些方法，则它们特别是对于收敛和功率输出而言不再那么高效。此外，在文献“p.stanfel、k.johnson、c.j.bay和j.king的一种用于风电场能量捕获最大化的分布式强化学习偏航控制方法(a distributed reinforcement learning yaw controlapproach for wind farm energy capture maximization)，2020年美国控制会议(acc)，第4065±4070页，2020年”中示出了当在更现实的模拟中考虑尾流传播延迟时，高效的偏航控制可能完全不起作用。

9、专利申请ep-3,997,335和us-2022-186,709也描述了强化学习方法。然而，这些方法都无法管理风电场中的尾流传播延迟。此外，在专利申请ep-3,997,335中，仅考虑了风电场的一部分，这不允许对整个风电场进行最优控制。此外，在专利申请us-2022-186,709中，所实现的目标涉及在各种风力条件下风电场输出功率的稳定化。因此，该方法明显不能实现输出功率的最大化。

10、很少有策略已经被用于处理风电场优化问题中的尾流传播延迟。在上述文件(dong等人，2021年)中，该问题被委托给一种学习算法，该学习算法根据在风电场中的部署之前在恒定的偏航下执行的测量来预测偏航变化的影响。然而，这将奖励信号与风电场的当前输出分离，这限制了算法的适应性，并使其容易受到单个涡轮机的故障的影响。在上述文献(stanfel等人，2020年)中，风电场被划分为多个子集，其中每次允许一个涡轮机改变偏航，这种策略称为“锁定”。然而，这种锁定策略对于所有主体(agent)过度地减慢了收敛。

技术实现思路

1、本发明的目的是实时控制风电场，从而最大化由此产生的电力，而无论风电场中风力涡轮机的实施方式如何，并且具有快速的收敛。因此，本发明涉及一种风电场控制方法，其中，强化学习方法以分散方式(对于每个风力涡轮机)实施，其中根据尾流传播延迟来计算奖励。因此，奖励真正代表了最后一个动作(之前的偏航控制)的效果，这允许风电场产生的电力最大化。对于每个风力涡轮机实施强化学习方法可以使该方法适应于任何风电场，并且其还提供快速收敛。

2、此外，本发明涉及一种能够实施该控制方法的风电场。

3、本发明涉及一种风电场控制方法，所述风电场的每个涡轮机包括致动器，用于修改所述涡轮机的操作点，特别是所述涡轮机的偏航角，所述偏航角是在所述风力涡轮机的转子与风向之间形成的角度。对于该方法，执行以下步骤：

4、a.获取每个风力涡轮机的发电功率、风速、风向、以及每个风力涡轮机的偏航角，

5、b.对于每个风力涡轮机，根据所述获取的风速和风向以及所述风电场内的所述风力涡轮机的布局确定所述涡轮机的尾流传播延迟，

6、c.对于每个风力涡轮机，确定表示涡轮机的控制的影响，特别是对所述风电场的所有涡轮机产生的功率的总和的影响的奖励值，所述奖励通过考虑所述确定的尾流传播延迟来计算，

7、d.对于每个风力涡轮机，应用强化学习方法来根据所述确定的奖励和先前的偏航角来确定所述涡轮机的目标操作点，以及

8、e.通过使用所述致动器应用所述确定的目标操作点来控制每个风力涡轮机的操作点。

9、根据一实施例，所述尾流传播延迟是借助泰勒冻结湍流假设(taylor’s frozenturbulence hypothesis)来确定的。

10、根据一实施方式，所述尾流传播延迟是通过考虑尾流距离限制来确定的。

11、有利地，所述强化学习方法是沃特金斯q学习(watkins q-learning)方法。

12、根据一方面，对于每个风力涡轮机，当自上次控制以来经过的时间大于所述确定的尾流传播延迟时，确定所述奖励。

13、根据一种构造，所述偏航角控制是所述偏航角的固定节距的变化。

14、有利地，所述风速和所述风向通过借助lidar(激光雷达)传感器或风速计测量来获得，或者借助实时控制和数据采集系统测量来获得。

15、根据一实施例，获取的偏航角是所述先前受控的偏航角。

16、根据一实施方式，所述奖励是通过考虑在预定时间间隔期间生成的电力的平均值来确定的。

17、此外，本发明涉及一种风电场，其中所述风电场的每个涡轮机包括致动器，用于修改所述涡轮机的操作点，特别是所述涡轮机的偏航角，所述偏航角是在所述涡轮机的转子与风向之间形成的角度。所述风电场包括用于实施根据前述特征之一的风电场控制方法的计算装置。