一种基于双流评分模型的风力发电数据处理系统

本发明涉及风力发电数据处理，尤其涉及一种基于双流评分模型的风力发电数据处理系统。

背景技术：

1、在风力发电领域，数据质量对于系统的运行精度和可靠性至关重要。然而，实际收集的风电数据常常受到多种因素影响，如设备故障、信号干扰等，从而产生多种数据异常。这些异常包括数据缺失、零值和超过物理限制的值，严重影响数据的可用性和准确性。当前的异常风能检测技术主要依赖于风速与发电功率输出之间的相关性，此类方法在风电数据处理中存在明显的限制。因为这些方法仅仅依赖于单变量风速数据，忽略了风向和温度等其他气象变量，同时对于不同异常类型关系的学习能力较弱，只能辨别明显正常和明显异常的数据，结果的检测精度不够。这不仅造成了大量的数据浪费，还会扰乱后续任务的学习方向。

2、鉴于现有技术的不足，本发明提出了一种基于双流评分模型的风力发电数据处理系统，该方法利用双流评分模型显著提高异常数据的检测精度和效率，特别适用于大规模且复杂的风电场景。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术的不足，公开了一种基于双流评分模型的风力发电数据处理系统，旨在通过结合半监督学习与先进的数据处理技术，显著提高风电数据的异常检测准确性和效率。

2、为了达到上述目的，本发明采用以下技术方案予以实现：

3、一种基于双流评分模型的风力发电数据处理系统包括数据分析模块、异常检测模块、半监督学习模块、数据修复模块和数据汇总模块。首先通过数据分析模块统计数据特征属性，并对于数据的初始异常情况进行分析，掌握输入数据质量，然后由异常检测模块标记出明显正常和明显异常的数据点，接下来使用半监督学习模块将普通方法难以标记的数据点进行彻底的分类，使用数据修复模块修复后，整体汇总成统一格式用于后续多种任务使用。

4、所述异常检测模块采用基于无监督学习的隔离森林方法，对收集的风电数据进行初步标记。该方法通过随机选择特征并尝试将数据分区，有效地识别出数据分布中的离群点。基于这一初步分析，数据被分类为正常数据、异常数据和未标记数据。

5、所述半监督学习模块是由一个双流评分模型组成，该模型包括两个主要的配对网络，分别用于处理不同类别的数据对。两个网络共享参数，以确保学习过程的一致性。通过对数据对进行分析，模型不仅学习数据点的独立特征，还学习数据点之间的相互关系，提高了对复杂数据模式的理解和预测准确性。通过从正常、异常和未标记的数据中随机选择数据对，例如正常-异常，正常-未标记等组合，使用这些数据对训练双流评分模型，模型可以学习数据对之间的相互关系及其异常性来进行精确的异常检测。

6、所述数据修复模块是在成功区分出风力发电数据中的正常与异常数据后，用于修正标记异常的数据。关键在于利用已识别的正常数据，这些数据未受异常影响，因此可以作为训练模型的理想样本。本发明选择使用基于梯度提升决策树的算法作为修复模型的主要组件。该组件能够很好地模拟复杂的非线性分布，可以拟合风速与发电量之间的立方关系，这对于风电数据尤其关键。使用已识别的正常数据训练梯度提升决策树模型，然后，使用该模型修复标记异常的数据。

7、进一步的，所述半监督学习模块通过双流评分模型还引入了温度、风向等气象数据，以增强对异常情况的识别能力，这在复杂的环境条件下尤为重要。模型能够动态地调整学习策略和参数，以适应不断变化的数据特征和环境条件，确保长期的检测准确性和稳定性。

8、进一步的，所述双流评分模型是基于配对关系学习思想进行设计，由两组相同网络组成，两组网络共享相同参数，每组网络由特征编码层、门控循环单元和输出层组成。

9、进一步的，所述双流评分模型的输入是由正常、异常、未标记三种数据两两随机组合形成的数据对，数据对中的两种数据分别输入所述模型的两组网络中，输出为对于该数据对的得分数值，数值越大，代表异常程度越高。

10、与现有技术相比，本发明的有益效果是：

11、(1)完成了风电数据检测中从单变量到多变量的大跨度革新，通过神经网络结构的设计使得模型可以吸收以前未使用过的全新气象特征，使用不同高度的风速、风向、温度、风机参数等同时检测风电数据的异常情况。

12、(2)与普通方法相比，本发明通过设计巧妙的配对结构可以更加关注正常数据、异常数据和未标记数据之间的分布关系，通过重点学习不同类型的内在联系完成普通方法无法区分的未标记数据的辨别。

13、(3)因为多变量检测的革新和配对结构对于类型之间关系的侧重，显著提高了异常的鉴别能力和敏感性。这些优势使得本发明在风力发电数据处理领域具有重要的实用价值和广阔的应用前景。

技术特征：

1.一种基于双流评分模型的风力发电数据处理系统，其特征在于，包括：数据分析模块、异常检测模块、半监督学习模块、数据修复模块和数据汇总模块；

2.根据权利要求1所述的基于双流评分模型的风力发电数据处理系统，其特征在于，所述异常检测模块采用基于无监督学习的隔离森林方法，对收集的风电数据进行初步标记；利用随机选择特征对数据进行分区，以识别数据分布中的离群点，得到第二分析结果，并基于所述第二分析结果，将所述数据分类为正常数据、异常数据和未标记数据。

3.根据权利要求1所述的基于双流评分模型的风力发电数据处理系统，其特征在于，所述半监督学习模块由一个双流评分模型组成，包括两个配对网络，分别用于处理不同类别的数据对，其中，所述两个配对网络共享参数，以确保学习过程的一致性；通过从正常、异常和未标记的数据中选择任一数据对，使用所述任一数据对训练双流评分模型，以使得双流评分模型通过学习数据对之间的相互关系和其异常性来进行异常检测。

4.根据权利要求1所述的基于双流评分模型的风力发电数据处理系统，其特征在于，所述数据修复模块用于在区分出风力发电数据中的正常与异常数据后，修正标记异常的数据；选择使用基于梯度提升决策树的算法作为修复模型的主要组件，所述组件用于模拟非线性分布，拟合风速与发电量之间的立方关系；使用已识别的正常数据训练梯度提升决策树模型，并使用训练后的梯度提升决策树模型修复标记异常的数据。

5.一种风电功率数据处理系统，其特征在于，包括：气象数据和历史风电数据、数据收集系统、数据存储系统、任务调度器、数据处理算法和操作客户端；所述数据存储系统用于大规模多进程读取和存储不同环节的风电数据，所述数据处理算法实现如权利要求1至4任一项所述的基于双流评分模型的风力发电数据处理系统，所述任务调度器使用消息队列的方式自动化完成大批量风电数据的异常处理。

技术总结本发明公开了一种基于双流评分模型的风力发电数据处理系统，包括数据分析模块、异常检测模块、半监督学习模块、数据修复模块和数据汇总模块。首先通过数据分析模块统计数据特征属性，并对于数据的初始异常情况进行分析，掌握输入数据质量，然后由异常检测模块标记出明显正常和明显异常的数据点，接下来使用半监督学习模块将普通方法难以标记的数据点进行彻底的分类，使用数据修复模块修复后，整体汇总成统一格式用于后续多种任务使用。本发明旨在通过结合半监督学习与先进的数据处理技术，显著提高风电数据的异常检测准确性和效率。技术研发人员：梁雪峰,胡泽天,由小川受保护的技术使用者：清华大学技术研发日：技术公布日：2024/8/20