一种水质监测数据质量控制方法及系统与流程

技术特征：
1.一种水质监测数据质量控制方法，其特征在于，包括：s1：获取初始水质监测数据，对所述初始水质监测数据进行数据清洗，获得水质数据集；s2：通过多元高斯分布异常数据监测方法计算所述水质数据集的联合概率密度函数，通过所述联合概率密度函数对所述水质数据集进行第一次异常数据筛选，获得第一次筛选后的水质数据集；s3：将所述第一次筛选后的水质数据集通过基于密度的聚类分析进行第二次异常数据筛选，获得第二次筛选后的水质数据集，将所述第二次筛选后的水质数据集作为最终水质监测结果。2.根据权利要求1所述的水质监测数据质量控制方法，其特征在于，步骤s1具体为：剔除所述初始水质监测数据中的缺省值，获得所述水质数据集，所述水质数据集中各水质数据的维度均为n；所述水质数据集中各水质数据的监测项包括：ph值，溶解氧，浊度，总磷，总氮，氨氮和cod。3.根据权利要求1所述的水质监测数据质量控制方法，其特征在于，步骤s2具体为：s21：所述水质数据集t的表达式为：t＝{x
(1)
,x
(2)
,
…
,x
(m)
}，其中，m表示水质数据集中水质数据的总数，对于各水质数据均满足：i表示水质数据的编号，x
(i)
表示第i号水质数据，n表示水质数据的维度；s22：计算获得所述水质数据集的期望μ、标准差σ和协方差σ；期望μ的计算公式如下：标准差计算公式如下：协方差σ的计算公式如下：s23：所述联合概率密度函数的计算公式如下：其中，x表示联合概率密度函数中的元素；s24：提取所述水质数据集中满足所述联合概率密度函数的水质数据，将三倍标准差σ以外的水质数据剔除，获得所述第一次筛选后的水质数据集。4.根据权利要求1所述的水质监测数据质量控制方法，其特征在于，步骤s3具体为：s31：所述第一次筛选后的水质数据集的表达式为：t1＝{x
(1)
,x
(2)
,
…
,x
(k)
}，其中，k表示
第一次筛选后的水质数据集中水质数据的总数，对于各水质数据均满足：j表示水质数据的编号，x
(j)
表示第j号水质数据，n表示水质数据的维度；s32：给定各水质数据x
(j)
邻域半径内包含的其它水质数据的个数值n，计算获得各水质数据x
(j)
对应的最小邻域半径r
j
；水质数据x
(j)
的最小邻域半径r
j
采用欧式距离进行计算，计算公式如下：其中，d表示水质数据x
(j)
邻域半径内包含的其它水质数据的编号；s33：计算各水质数据对应的最小邻域半径的期望μ1和标准差σ1；期望μ1的计算公式如下：标准差σ1的计算公式如下：s34：将最小邻域半径r
j
>μ1 3σ1和r
j
<μ
1-3σ1的水质数据作为异常数据剔除，获得所述第二次筛选后的水质数据集。5.一种水质监测数据质量控制系统，其特征在于，包括：水质数据集获取模块，用于获取初始水质监测数据，对所述初始水质监测数据进行数据清洗，获得水质数据集；第一次筛选模块，用于通过多元高斯分布异常数据监测方法计算所述水质数据集的联合概率密度函数，通过所述联合概率密度函数对所述水质数据集进行第一次异常数据筛选，获得第一次筛选后的水质数据集；第二次筛选模块，用于将所述第一次筛选后的水质数据集通过基于密度的聚类分析进行第二次异常数据筛选，获得第二次筛选后的水质数据集，将所述第二次筛选后的水质数据集作为最终水质监测结果。

技术总结
本发明涉及水质监测领域，提供一种水质监测数据质量控制方法及系统，包括：S1：获取初始水质监测数据，对所述初始水质监测数据进行数据清洗，获得水质数据集；S2：通过多元高斯分布异常数据监测方法计算所述水质数据集的联合概率密度函数，通过所述联合概率密度函数对所述水质数据集进行第一次异常数据筛选，获得第一次筛选后的水质数据集；S3：将所述第一次筛选后的水质数据集通过基于密度的聚类分析进行第二次异常数据筛选，获得第二次筛选后的水质数据集，将所述第二次筛选后的水质数据集作为最终水质监测结果。本发明在减少传统异常数据监测工作量的同时，可以较好的挖掘出具有统计意义的水质异常数据，可有效增加水质监测数据质量控制的合理性。据质量控制的合理性。据质量控制的合理性。


技术研发人员：牟林 陈文锐 王道胜 牛茜如
受保护的技术使用者：中地大海洋（广州）科学技术研究院有限公司
技术研发日：2022.01.17
技术公布日：2022/5/25