基于强化学习与MPC结合方法实现的高响应风力发电场控制策略设计方法

本发明涉及风电，具体是基于强化学习与mpc控制策略的风电场控制策略设计方法。

背景技术：

1、

2、风电场作为清洁能源的重要组成部分，在全球范围内取得了显著的成就。然而，随之而来的挑战也逐渐显现，其中之一便是尾流效应对风力发电机性能的不利影响。尾流效应是指风通过一台风力发电机后残留的风流，影响了后续风力发电机的风速和风向，导致其产生更少的电能。为了更好地应对这一问题，我们需要进一步改进风电场的控制策略，使其在复杂多变的环境中能够保持高效运行。

3、同时，友好型风电场日益成为风电场的建设标准，新能源发电在起步时曾一度作为干扰源输入电网，在2011-2012年风电场在国内起步时，曾发生过多起风机大面积脱网事故，即使是1mw的小风机组也能引起电网频率的大范围波动，因此提出了友好型风电场的概念，要求风机组具备电网适应性：当电网环境改变时，风机组应当不脱网连续运行。虽然自此风电场的低电压穿越能力日益提高，但在2016年依然发生了一次电网频率骤降事故，因此从2016年后，高响应风电场增加了新的内涵：当电网发生故障或扰动时，除不脱网连续运行之外，风电机组应能够对电网提供主动支撑，这便要求风电场具有快速响应的能力。

4、风电场控制目前存在的问题有很难平衡计算量与控制效果，未充分考虑应对不确定性因素，尤其是出现危机风机运行安全的未知扰动时通常会硬切换为安全模式，并不具备对此类扰动进行额外学习，同时在安全约束下的风机通常仅保证基本运行，性能较差，期间难以有效利用风能。

5、当前的友好型风电场研究方面，调频技术已经基本成熟，但基于预测或主动提前预定未来策略，减少电网频率波动方面研究较少，现有的研究通常基于风电场各风机额定或历史平均发电量来确定发电目标，缺乏动态判断以及对环境不确定性的适应性，这也是出现电网频率波动的主要原因。

技术实现思路

1、

2、本发明的目的在于解决现有技术中存在的问题，基于强化学习协同控制框架，通过结合鲁棒mpc和强化学习，基于历史数据预测环境状态，将预测状态用于在线控制器提前预测功率分配，加快系统对环境变化的感知能力与响应速度，保证风机对电网的友好，使系统具备主动调度的能力，优化输出功率平稳性。

3、本发明为实现上述目的，通过以下技术方法

4、实现：

5、基于强化学习与mpc结合方法实现的高响应风力发电场控制策略设计方法，包括步骤：

6、s1、非线性风电场模型建立；

7、s2、设计基准控制器；

8、s3、设计rl+mpc控制框架；

9、所述步骤s1中针对高响应风电场目标，设计单风机及风电场模型。

10、所述步骤s2中根据步骤s1中建立的风电场模型，基于mpc的思想建立基准控制器。

11、所述步骤s3中基于步骤s2中的基准控制器，增加在线控制逻辑，搭建在线控制框架实现高响应风电场，使控制目标从最大化发电量转变为最快响应给定目标、主动调整功率分配目标。

12、对比现有技术，本发明的有益效果在于：

13、1.充分考虑不确定性的综合控制策略：引入强化学习作为对抗不确定性的控制手段，以应对风电场中不确定性和外部扰动。这种综合控制策略使得系统能够更灵活地适应实际工况的变化，提高了整个风电场的稳定性和效率；

14、2.实现高响应风电场：将强化学习融入到mpc控制中，提高了整个系统的响应速度，使系统具备主动调度的能力，优化输出功率平稳性，对电网友好，一方实现预调度，另一方面mpc的经验也可作用于强化学习智能体，提高其预测不确定性中环境不确定性的能力；

技术特征：

1.基于强化学习与mpc结合方法实现的高响应风力发电场控制策略设计方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于强化学习与mpc结合方法实现的高响应风力发电场控制策略设计方法，其特征在于：步骤s1中，非线性风电场模型建立。

3.根据权利要求1所述的基于迭代学习控制策略的风机周期性干扰估计方法，其特征在于：步骤s2中，设计基准控制器的步骤为：首先，针对步骤s1中高响应风电场模型，基于mpc的思想，构造风电场的非线性状态方程，进而构造鲁棒mpc控制器作为基准控制器保证系统的鲁棒性与安全性。

4.根据权利要求1所述的基于强化学习与mpc结合方法实现的高响应风力发电场控制策略设计方法，其特征在于：步骤s2中，设计基准控制器的步骤包括：

5.根据权利要求1所述的基于强化学习与mpc结合方法实现的高响应风力发电场控制策略设计方法，其特征在于：步骤s3中，设计rl+mpc控制框架包括步骤：

6.根据权利要求5所述的基于强化学习与mpc结合方法实现的高响应风力发电场控制策略设计方法，其特征在于：

7.根据权利要求5所述的基于强化学习与mpc结合方法实现的高响应风力发电场控制策略设计方法，其特征在于：所述步骤s21基于mpc的思想设计保证系统基本动态性能与安全性的基准控制器。

技术总结本发明公开了基于强化学习与MPC结合方法实现的高响应风力发电场控制策略设计方法，主要涉及风电技术领域;包括步骤:S1、非线性风电场模型建立；S2、设计基准控制器；S3、设计RL+MPC控制框架；本发明从高响应风电场概念出发建立风电场模型，然后，基于MPC的思想针对高响应风电场设计基准控制器，最后在线学习风电场运行环境，设计风电场主动调功调度策略。在基准控制器的基础上，增加控制逻辑使控制目标从最大化发电量转变为最快响应给定目标、主动调整功率分配目标。技术研发人员：魏善碧,贾康强,陈嘉茜,刘敬文,熊世辉,钟晓雨受保护的技术使用者：重庆大学技术研发日：技术公布日：2024/11/18