一种抽水蓄能电站监测数据清洗方法、装置、设备和介质与流程

本发明涉及电力系统，尤其涉及一种抽水蓄能电站监测数据清洗方法、装置、设备和介质。

背景技术：

1、抽水蓄能电站安全监测系统在数据采集、传输、存储过程中会出现数据重复，丢失，失真等情况，为了充分发掘抽水蓄能电站监测数据内在价值，首先需要对监测数据进行数据清洗，数据清洗是数据分析的重要步骤之一，也是确保分析结果准确和可靠的必要步骤之一。清洗数据可以帮助确保数据的准确性，防止分析结果因数据的错误或不准确而影响判断。清洗数据还可以找出错误值、异常值或超限值，有助于对数据进行更好的解释和分析。数据清洗还可以帮助保持数据的完整性。在大多数情况下，数据集通常是从许多不同的来源和格式中获取的，因此数据可能会有重复值、缺失值等。在清洗数据之后，可以保证数据的完整性，从而提高后续分析的可靠性。清洗数据可以减少数据集中的噪声和冗余信息，避免计算非必要的部分，并减少分析和处理数据集所需的时间和计算资源。原始数据集通常包含了很多无用的信息或格式，数据清洗可以消除这些冗余的信息，使数据更易于分析和处理。水工安全监测数据的都是数十万、数百万级别的数据量，全部使用神经网络进行处理效率非常低。如何提高对监测数据的清洗效率和精度是目前亟需解决的技术问题。

技术实现思路

1、为了解决如何提高对监测数据的清洗效率和精度的技术问题，本发明提供了一种抽水蓄能电站监测数据清洗方法、装置、设备和介质。

2、第一方面，本发明提供了一种抽水蓄能电站监测数据清洗方法，所述方法包括：

3、获取所述监测数据中的待预测缺失数据；

4、利用所述监测数据、预测模型、所述待预测缺失数据和多个预测算法，得到各所述预测算法的预测精度值，所述预测模型是已训练完成的长短期记忆递归神经网络；

5、利用精度值最高的所述预测算法对所述监测数据中的全部缺失数据进行预测，得到所有所述缺失数据的预测值。

6、基于上述技术方案，进一步地，所述利用所述监测数据、预测模型、所述待预测缺失数据和多个预测算法，得到各所述预测算法的预测精度值，具体包括：

7、利用所述预测模型和所述监测数据对每条所述待预测缺失数据进行预测，得到每条所述待预测缺失数据的第一预测值；

8、利用多个预测算法和所述监测数据分别对每条所述待预测缺失数据进行预测，得到每条所述待预测缺失数据对应各所述预测算法的预测值；

9、通过基准测试方法分别对每条所述待预测缺失数据的第一预测值和对应各所述预测算法的预测值进行精度值计算，得到所有所述预测算法的精度值。

10、基于上述技术方案，进一步地，所述利用所述预测模型和所述监测数据对每条所述待预测缺失数据进行预测，得到每条所述待预测缺失数据的第一预测值，包括：

11、将每条所述待预测缺失数据在所述监测数据的位置之前的预设数量的监测数据输入所述预测模型中，得到每条所述待预测缺失数据的第一预测值。

12、基于上述技术方案，进一步地，所述预测模型是通过以下方法构建的：

13、选取样本监测数据中缺失数据之前的所有样本监测数据作为训练数据，对所述训练数据进行归一化处理；

14、构建长短期记忆递归神经网络，并确定长短期记忆递归神经网络的神经网络参数，所述神经网络参数包括输入参数个数、输出参数个数、深度学习网络层数、使用的优化算法、最大迭代次数、初始学习率和下降因子；

15、利用归一化处理后的所述训练数据对所述长短期记忆递归神经网络进行训练，初次训练损失函数结果，调整训练参数，得到所述神经网络参数中最优参数，得到所述预测模型。

16、基于上述技术方案，进一步地，所述利用多个预测算法和所述监测数据分别对每条所述待预测缺失数据进行预测，得到每条所述待预测缺失数据对应各所述预测算法的预测值，具体包括：

17、利用所述预测算法中的删除缺失值算法对所述监测数据中的缺失数据丢弃，利用待预测缺失数据后面的监测数据将丢弃的缺失数据的位置数据进行补全；

18、利用所述预测算法中的均值填补算法计算所述待预测缺失数据的前后预设数量的监测数据的均值，将所述均值填入所述待预测缺失数据的位置；

19、利用所述预测算法中的回归填补算法根据所述监测数据中的因变量和自变量建立回归方程，根据所述回归方程计算所述待预测缺失数据；

20、利用所述预测算中的智能算法根据欧式距离或相关分析确定距离所述待预测缺失数据最近的预设数量样本，将所述预设数量样本的样本值加权平均得到所述待预测缺失数据。

21、基于上述技术方案，进一步地，所述通过基准测试方法分别对每条所述待预测缺失数据的第一预测值和对应各所述预测算法的预测值进行精度值计算，得到所有所述预测算法的精度值，具体包括：

22、分别计算所有所述待预测缺失数据的第一预测值和对应各所述预测算法的预测值之间的均方误差mse、均方根误差rmse、平均绝对误差mae和r方值；

23、

24、ylstm(xi)是第i个待预测缺失数据的第一预测值，yt(xi)是第t个所述预测算法的预测值，m是待预测缺失数据的数量；

25、利用各所述预测算法的均方误差mse、均方根误差rmse、和平均绝对误差mae和r方值，计算得到各所述预测算法的精度值。

26、第二方面，本发明还提供了一种抽水蓄能电站监测数据清洗装置，所述装置包括：

27、第一处理模块，用于获取所述监测数据中的待预测缺失数据；

28、第二处理模块，用于利用所述监测数据、预测模型、所述待预测缺失数据和多个预测算法，得到各所述预测算法的预测精度值，所述预测模型是已训练完成的长短期记忆递归神经网络；

29、第三处理模块，用于利用精度值最高的所述预测算法对所述监测数据中的全部缺失数据进行预测，得到所有所述缺失数据的预测值。

30、基于上述技术方案，进一步地，所述第二处理模块，具体用于利用所述预测模型和所述监测数据对每条所述待预测缺失数据进行预测，得到每条所述待预测缺失数据的第一预测值；

31、利用多个预测算法和所述监测数据分别对每条所述待预测缺失数据进行预测，得到每条所述待预测缺失数据对应各所述预测算法的预测值；

32、通过基准测试方法分别对每条所述待预测缺失数据的第一预测值和对应各所述预测算法的预测值进行精度值计算，得到所有所述预测算法的精度值。

33、基于上述技术方案，进一步地，所述第二处理模块，具体用于将每条所述待预测缺失数据在所述监测数据的位置之前的预设数量的监测数据输入所述预测模型中，得到每条所述待预测缺失数据的第一预测值。

34、基于上述技术方案，进一步地，还包括模型构建模块，模型构建模块，用于选取样本监测数据中缺失数据之前的所有样本监测数据作为训练数据，对所述训练数据进行归一化处理；

35、构建长短期记忆递归神经网络，并确定长短期记忆递归神经网络的神经网络参数，所述神经网络参数包括输入参数个数、输出参数个数、深度学习网络层数、使用的优化算法、最大迭代次数、初始学习率和下降因子；

36、利用归一化处理后的所述训练数据对所述长短期记忆递归神经网络进行训练，初次训练损失函数结果，调整训练参数，得到所述神经网络参数中最优参数，得到所述预测模型。

37、基于上述技术方案，进一步地，所述第二处理模块，具体用于利用所述预测算法中的删除缺失值算法对所述监测数据中的缺失数据丢弃，利用待预测缺失数据后面的监测数据将丢弃的缺失数据的位置数据进行补全；

38、利用所述预测算法中的均值填补算法计算所述待预测缺失数据的前后预设数量的监测数据的均值，将所述均值填入所述待预测缺失数据的位置；

39、利用所述预测算法中的回归填补算法根据所述监测数据中的因变量和自变量建立回归方程，根据所述回归方程计算所述待预测缺失数据；

40、利用所述预测算中的智能算法根据欧式距离或相关分析确定距离所述待预测缺失数据最近的预设数量样本，将所述预设数量样本的样本值加权平均得到所述待预测缺失数据。

41、基于上述技术方案，进一步地，所述第二处理模块，具体用于分别计算所有所述待预测缺失数据的第一预测值和对应各所述预测算法的预测值之间的均方误差mse、均方根误差rmse、平均绝对误差mae和r方值；

42、

43、ylstm(xi)是第i个待预测缺失数据的第一预测值，yt(xi)是第t个所述预测算法的预测值，m是待预测缺失数据的数量；

44、利用各所述预测算法的均方误差mse、均方根误差rmse、和平均绝对误差mae和r方值，计算得到各所述预测算法的精度值。

45、第三方面，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述技术方案中任一项所述的一种抽水蓄能电站监测数据清洗方法。

46、第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述技术方案中任一项所述的一种抽水蓄能电站监测数据清洗方法。

47、本发明提供的一种抽水蓄能电站监测数据清洗方法，包括从水蓄能电站监测数据中的全部缺失数据中选取待预测缺失数据；利用所述监测数据、预测模型和多个预测算法对所述待预测缺失数据进行预测后，计算各所述预测算法的预测精度值，所述预测模型是已训练完成的长短期记忆递归神经网络；利用精度值最高的所述预测算法对所述水蓄能电站监测数据中的全部缺失数据进行补全。本发明实现了在大幅度降低计算资源的情况下得到最优化的清洗方法，提高数据清洗效率。