一种水厂管控平台报表的异常数据检测及恢复方法及系统与流程

本发明涉及水厂数据检测，尤其涉及一种水厂管控平台报表的异常数据检测及恢复方法及系统。

背景技术：

1、在现代水厂管控平台的运营中，数据质量一直是一个关键问题。然而，由于环境因素、传感器故障以及数据传输等各种复杂因素的影响，报表中可能出现异常数据的情况时有发生。这些异常数据的存在会极大地影响数据的准确性和可靠性，给水厂的监测和决策带来困难。因此，针对这一问题，需要一种高效可靠的方法来检测和修复这些异常数据。

技术实现思路

1、针对现有技术中存在的问题，本发明提供一种水厂管控平台报表的异常数据检测及恢复方法，包括：

2、步骤s1，采集水厂管控平台的报表数据，随后通过阈值检测得到所述报表数据的阈值范围，将超出所述阈值范围的各所述报表数据标记为潜在异常数据；

3、步骤s2，采用预先训练的异常检测模型对所述报表数据中的各所述潜在异常数据进行异常评分得到对应的异常评分结果，随后将异常评分结果超出设定的评分范围的所述潜在异常数据标记为毛刺数据点；

4、步骤s3，将所述报表数据中的各所述毛刺数据点删除，随后利用被删除的所述毛刺数据点的相邻数据点的线性关系估算缺失的数据点进行线性插值，以对所述报表数据进行数据恢复。

5、优选的，所述报表数据包括多个数据维度，所述步骤s1包括：

6、步骤s11，计算每个数据维度的均值和标准差，随后根据所述均值和所述标准差得到所述阈值范围；

7、步骤s12，将所述报表数据中超出所述阈值范围的数据点标记为所述潜在异常数据。

8、优选的，所述孤立森林算法模型的训练过程包括：

9、步骤a1，获取历史时间序列数据，将所述历史时间序列数据转换为孤立森林算法格式得到特征数据集；

10、步骤a2，对所述特征数据集进行特征统计得到统计特征，随后将孤立森林算法的污染率参数设置为初始污染率参数对所述特征数据集进行异常检测得到对应的初步异常检测结果；

11、步骤a3，根据所述初步异常检测结果和所述统计特征调整所述孤立森林算法的污染率参数得到所述异常检测模型。

12、优选的，在对报表数据进行阈值检测之前还包括数据预处理过程，所述数据预处理过程包括：

13、对所述报表数据进行数据清洗，随后对清洗后的所述报表数据进行缺失值填充，最后对填充后的所述报表数据进行数据平滑得到用于阈值检测的所述报表数据。

14、优选的，执行所述步骤s3之后还包括：

15、步骤s4，对插值恢复后的所述报表数据进行数据平滑和移动平均处理，随后采用多项式回归校正法对移动平均后的所述报表数据进行数据校正，最后采用多项式回归模型对校正后的所述报表数据进行数据拟合得到修正后的所述报表数据。

16、优选的，执行所述步骤s3之后还包括模型优化过程，包括：

17、将审核人员对各所述毛刺数据点的审核结果作为反馈数据输入所述异常检测模型，对所述异常检测模型进行再次训练以调整所述异常检测模型的模型参数。

18、本发明还提供一种水厂管控平台报表的异常数据检测及恢复系统，应用如上述的异常数据检测及恢复方法，包括：

19、潜在标记模块，用于采集水厂管控平台的报表数据，随后通过阈值检测得到所述报表数据的阈值范围，将超出所述阈值范围的各所述报表数据标记为潜在异常数据；

20、异常检测模块，连接所述潜在标记模块，用于采用预先训练的异常检测模型对所述报表数据中的各所述潜在异常数据进行异常评分得到对应的异常评分结果，随后将异常评分结果超出设定的评分范围的所述潜在异常数据标记为毛刺数据点；

21、各所述潜在异常数据进行异常评分，随后根据各所述异常评分结果将所述潜在异常数据标记为毛刺数据点；

22、数据恢复模块，连接所述异常检测模块，用于将所述报表数据中的各所述毛刺数据点删除，随后利用被删除的所述毛刺数据点的相邻数据点的线性关系估算缺失的数据点进行线性插值，以对所述报表数据进行数据恢复。

23、优选的，所述报表数据包括多个数据维度，所述潜在标记模块包括：

24、范围计算单元，用于计算每个数据维度的均值和标准差，随后根据所述均值和所述标准差得到所述阈值范围；

25、潜在标记单元，连接所述范围计算模块，用于将所述报表数据中超出所述阈值范围的数据点标记为所述潜在异常数据。

26、优选的，还包括模型训练模块，连接所述异常检测模块，包括：

27、数据集采集单元，用于获取历史时间序列数据，将所述历史时间序列数据转换为孤立森林算法格式得到特征数据集；

28、初始检测单元，连接所述数据集采集单元，用于对所述特征数据集进行特征统计得到统计特征，随后将孤立森林算法的污染率参数设置为初始污染率参数对所述特征数据集进行异常检测得到对应的初步异常检测结果；

29、参数调整单元，连接所述初始检测单元，用于根据所述初步异常检测结果和所述统计特征调整所述孤立森林算法的污染率参数得到所述异常检测模型。

30、优选的，还包括数据预处理模块，连接所述潜在标记模块，用于对所述报表数据进行数据清洗，随后对清洗后的所述报表数据进行缺失值填充，最后对填充后的所述报表数据进行数据平滑得到用于阈值检测的所述报表数据。

31、上述技术方案具有如下优点或有益效果：以水厂管控平台实际报表数据为核心，通过多级异常检测可以有效地识别和处理报表中的异常数据，从而提高水厂管控平台数据分析的精确性和稳定性，通过结合统计分析与机器学习技术，实现了对水厂管控平台中异常数据的高效检测和恢复，为水厂管理人员提供可靠的数据基础，促进水厂运营的智能化和精细化管理。

技术特征：

1.一种水厂管控平台报表的异常数据检测及恢复方法，其特征在于，包括：

2.根据权利要求1所述的异常数据检测及恢复方法，其特征在于，所述报表数据包括多个数据维度，所述步骤s1包括：

3.根据权利要求1所述的异常数据检测及恢复方法，其特征在于，所述孤立森林算法模型的训练过程包括：

4.根据权利要求1所述的异常数据检测及恢复方法，其特征在于，在对报表数据进行阈值检测之前还包括数据预处理过程，所述数据预处理过程包括：

5.根据权利要求1所述的异常数据检测及恢复方法，其特征在于，执行所述步骤s3之后还包括：

6.根据权利要求1所述的异常数据检测及恢复方法，其特征在于，执行所述步骤s3之后还包括模型优化过程，包括：

7.一种水厂管控平台报表的异常数据检测及恢复系统，其特征在于，应用如权利要求1-6中任意一项所述的异常数据检测及恢复方法，包括：

8.根据权利要求7所述的异常数据检测及恢复系统，其特征在于，所述报表数据包括多个数据维度，所述潜在标记模块包括：

9.根据权利要求7所述的异常数据检测及恢复系统，还包括模型训练模块，连接所述异常检测模块，包括：

10.根据权利要求7所述的异常数据检测及恢复系统，还包括数据预处理模块，连接所述潜在标记模块，用于对所述报表数据进行数据清洗，随后对清洗后的所述报表数据进行缺失值填充，最后对填充后的所述报表数据进行数据平滑得到用于阈值检测的所述报表数据。

技术总结本发明提供一种水厂管控平台报表的异常数据检测及恢复方法及系统，涉及水厂数据检测技术领域，包括：采集水厂管控平台的报表数据，随后通过阈值检测得到报表数据的阈值范围，将超出阈值范围的各报表数据标记为潜在异常数据；采用异常检测模型对报表数据中的各潜在异常数据进行异常评分，随后异常评分结果异常的潜在异常数据标记为毛刺数据点；将报表数据中的各毛刺数据点删除，随后利用被删除的毛刺数据点的相邻数据点的线性关系估算缺失的数据点进行线性插值，以对报表数据进行数据恢复。有益效果是通过多级异常检测提高水厂管控平台数据分析的精确性和稳定性，通过结合统计分析与机器学习技术，实现了对异常数据的高效检测和恢复。技术研发人员：赵伟康,薛浩,苏文杰,杨小华,索雅松受保护的技术使用者：上海威派格智慧水务股份有限公司技术研发日：技术公布日：2025/1/6