一种VOCs监测数据的自动化审核方法与流程

本发明涉及环境监测数据处理，特别是涉及一种vocs监测数据的自动化审核方法。

背景技术：

1、随着大气污染治理的深入，o3和pm2.5作为关键污染物受到广泛关注。vocs作为o3的重要前体物，其监测数据的准确性对污染防控至关重要。目前，vocs的在线监测技术已相当成熟，但数据审核是数据分析之前的必备环节，对数据进行审核剔除掉异常数据是保证数据质量和分析结果可靠性的必要步骤。

2、目前，对vocs监测数据进行审核主要是通过人工的方式进行的，审核包括两个方面，第一方面是对仪器的质控结果进行审核，第二个方面是对监测数据本身进行审核。在质控结果审核过程中首先是查看设备的质控运维结果是否符合要求，其次是根据运维时间剔除运维时刻的样本。在对监测数据本身进行审核过程中，主要是人为基于数据的逻辑性、经验认知、变化趋势等角度对监测数据中异常值进行识别，进而对异常值进行处理并剔除显著异常的样本。在人工审核过程中，质控审核和监测数据审核两方面很难结合起来，比如质控审核和监测数据审核是分开进行的，在对监测数据进行审核发现的异常数据只能进行简单的无效处理，审核人员不能确定是本身环境样品变化导致的突变还是仪器检测异常带来的突变。此外，在人工审核过程中，需结合多角度进行审核，比如合理浓度水平、常检出物种、时间变化特征等，这些审核角度难以标准化。

3、因此，人工审核一方面对个人经验水平的依赖性大，一致性差，而且由于每次审核和处理需要人工参与，还会导致审核的时效性差、效率低和成本偏高，难以满足对臭氧污染防控分析工作的时效性需求。随着信息技术的发展，需要一种更加高效、自动化的方法来进行vocs监测数据的审核，以提高vocs数据审核的质量和管理的科学性。

技术实现思路

1、本发明的目的是针对现有的vocs监测数据审核存在处理方式单一、一致性差、时效性差、效率低、审核不全面和成本偏高等技术问题，提出一种vocs监测数据的自动化审核方法，以提高vocs监测数据审核的准确性和效率，为大气污染控制和环境管理提供技术支持。

2、为实现上述目的，本发明提供了一种vocs监测数据的自动化审核方法，所述自动化审核方法包括如下步骤：

3、步骤s1：整理目标站点vocs监测项目文档，包括监测组分名称、组分检出限浓度、组分臭氧最大增量反应生成系数(mir)、组分相对分子量等信息；

4、步骤s2：获取vocs历史监测数据，并对历史监测数据进行统计分析，得到站点vocs监测历史浓度水平范围、监测组分信息；

5、步骤s3：获取vocs实时监测数据和监测设备质控运维数据；

6、步骤s4：对设备质控运维数据进行审核，根据预设的质控参数异常阈值和标准规则对质控内容进行审核，并得到审核结果，其中审核包括空白结果审核、单点质控审核、多点曲线审核及内标响应审核；

7、步骤s5：对监测数据进行审核，根据预设的审核问题和审核角度，进行多维度审核，并得到审核结果，其中所述多维度审核包括对tvocs问题进行审核，对vocs类型问题审核，以及对常检出组分、常量组分、痕量组分、关键组分、具有稳定环境背景浓度组分问题进行审核；

8、步骤s6：对审核结果进行汇总，将设备质控审核结果和监测数据的审核结果进行汇总并存储；

9、步骤s7：对审核结果进行展示，包括设备质控审核结果和监测数据的审核结果，进行多角度展示。

10、优选地，所述步骤s2中，得到站点vocs监测历史浓度水平范围、监测组分信息的步骤包括：

11、步骤s2.1：获取目标站点vocs历史监测数据，包括vocs组分名称、监测时间、监测浓度；

12、步骤s2.2：计算tvocs的浓度均值和标偏，对历史监测数据集每一个时刻所有组分浓度进行求和，得到逐小时的tvocs浓度，取tvocs浓度数据的预设百分位数之间的数据，计算平均值和标准偏差数值；

13、步骤s2.3：计算每一种组分的浓度均值和标偏，逐次提历史监测数据集中每一个组分的浓度数据，取数据序列中预设百分位数之间的数据，计算平均值和标准偏差值；

14、步骤s2.4：计算vocs类型的浓度均值、浓度标准偏差、占比均值、占比标准偏差；

15、步骤s2.5：统计常检出组分，对历史监测数据集中每一个vocs组分，按照其名称找到检出限浓度值，计算其监测浓度数据中大于检出限浓度的数据比例，如果该比例超过预设阈值，则该组分被归为常检出组分；

16、步骤s2.6：统计常量组分，对历史监测数据集中每一个vocs组分，计算其监测浓度数据中大于预设浓度阈值的数据比例，如果该比例超过预设阈值，则该组分被归为常量组分；

17、步骤s2.7：统计痕量组分，步骤s1.6获得的常检出组分序号与步骤s1.7获得的常量组分序号的差集为痕量组分的序号；

18、步骤s2.8：统计关键组分，根据关键组分清单，进行vocs组分名称匹配，得到关键组分名称子集1；使用步骤s2.3中每个组分的浓度均值，通过排序的方法获得预设排名位数的组分名称，得到关键组分名称子集2；根据组分名称查找到对应mir值，与步骤s2.3中获得的每一个组分的浓度均值相乘，得到每一个组分的平均臭氧生成潜势浓度，通过排序的方法获得预设排名位数的组分名称，得到关键组分名称子集3；取三个名称子集的并集作为关键物种名称；

19、步骤s2.9：统计具有稳定背景浓度组分的编号，根据浓度水平稳定的组分名称和背景浓度值，进行vocs组分名称匹配，得到具有稳定浓度的组分名称；

20、步骤s2.10：统计常检出、常量、痕量、关键、有稳定背景浓度组分的浓度和占比均值及标准偏差；根据步骤s2.5～s2.9得到常检出、常量、痕量、关键、有背景浓度组分名称，从历史监测浓度数据集中查找得到组分的数据子集，对于每一类分别进行求和计算得到常检出、常量、痕量、关键、有稳定背景浓度组分的总浓度数据；计算每一类的总浓度与tvocs的比值得到每一类的总占比数据；对每一类的总浓度数据/总占比数据，取预设百分位数之间的数据，计算平均值和标准偏差数值，从而得到每一类的总浓度均值、总浓度标准偏差、总占比均值、总占比标准偏差。

21、优选地，在步骤s2.4中，计算vocs类型的浓度均值、浓度标准偏差、占比均值、占比标准偏差的步骤包括：

22、根据各vocs组分所属类型对vocs组分进行合并计算得到vocs类型的浓度数据，其中所述vocs组分所属类型包括：烷烃、烯烃、炔烃、芳香烃、卤代烃、ovocs、有机硫；

23、计算vocs类型浓度与tvocs的比值得到vocs类型的占比数据；

24、对每一个vocs类型的浓度数据/占比数据，取预设百分位数之间的数据，计算平均值和标准偏差数值。

25、优选地，在步骤s3中，获取vocs实时监测数据和监测设备质控运维数据的步骤包括：

26、步骤s3.1：获取目标站点设备上传的监测数据，包括监测时间、vocs组分的名称、vocs组分的监测浓度；

27、步骤s3.2：获取目标站点设备上传的质控运维数据，所述质控运维数据类型包括：空白质控数据、单点质控数据、多点曲线质控数据、内标响应数据；其中，除内标响应数据外的每类质控数据均包含质控起止时间、vocs组分名称以及质控参数的具体数值，所述内标响应数据包含监测时间、vocs组分名称及内标响应值。

28、5.根据权利要求1所述的自动化审核方法，其特征在于：在步骤s4中，对设备质控运维数据进行审核的步骤包括：

29、步骤s4.1：空白结果审核，分析空白结果数据中每种vocs组分的空白响应浓度是否低于系统检出限且低于预设阈值，如果某组分出现空白结果超过系统检出限的情况，则在当前空白数据起止时间范围内的数据中进行标识，对应的标识符号为‘n.b’，统计所有监测组分中空白审核不合格的组分个数占比，如果不合格个数占比超过预设阈值或关键组分不合格个数超过预设阈值，提出告警；

30、步骤s4.2：单点质控审核，分析单点质控数据中每种vocs组分系统响应值与标气浓度的相对误差，如果相对误差超过预设阈值表示单点质控不合格，在当前单点质控起止时间范围内的数据中进行标识，对应的标识符号为‘n.s’，统计所有监测组分中单点质控不合格的组分个数占比，如果不合格组分个数占比超过预设阈值或关键组分不合格个数超过预设阈值，整体数据做无效标注，提出告警；

31、步骤s4.3：多点曲线审核，分析多点曲线数据中每种vocs组分的线性相关性是否大于等于预设阈值，以及低浓度点回测浓度偏差是否低于预设阈值，如果是则代表多点曲线审核不合格，在当前单点质控起止时间范围内的数据中进行标识，对应的标识符号为‘f.c’，统计所有监测组分中多点曲线审核不合格组分合个数，如果超过预设阈值，提出告警；

32、步骤s4.4：内标响应审核，分析每一个物质内标响应不超过最近一次校准时响应值偏差的预设阈值，若内标响应不满足要求代表内标响应不合格，并且当前时刻此内标下定量的所有组分需要进行标识，对应的标识符号为‘n.e’，统计内标响应不合格的持续时间，若出现连续多个小时内标响应不合格，提出告警。

33、优选地，在步骤s5中，所述预设的审核问题包括：tvocs问题、vocs类型问题、常检出组分问题、常量组分问题、关键组分问题、痕量组分问题、具有稳定背景浓度的组分问题。

34、优选地，在步骤s5中，所述预设的审核角度包括：浓度水平、浓度占比和时间变化趋势；审核角度中的异常值类型包括：

35、浓度水平审核：识别离群值、缺失值、低于检出限的值；

36、浓度占比审核：识别离群值；

37、时间变化趋势审核：识别突变值和连续不变值。

38、优选地，在步骤s5中，进行多维度审核的步骤包括：

39、步骤s5.1：获取vocs组分监测数据：计算vocs组分监测浓度和为tvocs浓度：将vocs组分监测浓度和tvocs浓度，并结合步骤s2中输出的每一种组分和tvocs历史浓度均值和标准偏差，识别离群值、缺失值、低于检出限的值、突变值和连续不变值，并生成vocs组分监测浓度数据异常值结果和tvocs浓度数据异常值结果；

40、步骤s5.2：对tvocs问题进行审核：根据所述tvocs浓度异常值结果，得到每一个时刻监测样本的tvocs问题审核结果，如果某时刻数据正常则审核结果为正常，反之异常；

41、步骤s5.3：对vocs类型问题审核：将实时监测数据按照类型进行合并，并计算得到各vocs类型的浓度数据，并结合步骤s2中输出的vocs类型历史浓度均值和标准偏差以及历史占比均值和标准偏差，识别vocs类型浓度数据和vocs类型占比数据中的离群值、缺失值、低于检出限的值、突变值和连续不变值，生成vocs类型浓度数据异常值结果和vocs类型占比数据异常值结果，异常值结果根据异常数据类型打标记，并进一步根据vocs类型浓度数据异常值结果和vocs类型占比数据异常值结果对vocs类型问题审核结果进行计算，如某时刻vocs类型浓度数据异常值个数超过设定阈值，或vocs类型占比数据异常值个数超过设定阈值，则该时刻vocs类型问题审核结果为异常；

42、步骤s5.4：对常检出组分、常量组分、痕量组分、关键组分、具有稳定环境背景浓度组分异常数据进行识别：结合步骤s2得到目标站点常检出组分、常量组分、痕量组分、关键组分、具有稳定环境背景浓度组分的名称，并从监测数据中提取它们的浓度数据子集计算各自的总浓度数据，并计算与tvocs浓度比值得到各自的总占比，根据步骤s5.1中生成的vocs组分监测浓度数据异常值分析结果，得到常检出组分、常量组分、痕量组分、关键组分、具有稳定环境背景浓度组分的异常值分析结果；

43、步骤s5.5：对常检出组分、常量组分、痕量组分、关键组分、具有稳定环境背景浓度组分问题进行审核：结合步骤s5.4中获得的常检出组分、常量组分、痕量组分、关键组分、具有稳定环境背景浓度组分异常值分析结果，如果某时刻某类中异常值个数超过设定阈值，则该类问题的审核结果为异常，再结合步骤s2中获得的各类总浓度均值、总浓度标准偏差、总占比均值和总占比标准偏差，识别总浓度数据和总占比数据中的离群值，离群值对应的时刻审核结果为异常。

44、优选地，在步骤s6中，对审核结果进行汇总的步骤包括：

45、步骤s6.1：汇总步骤s4中空白审核结果、单点质控审核结果、多点曲线审核结果、内标响应审核结果，并在数据库中保存，包括每一类质控结果对应数据的起止时间范围，无效组分的名称，无效组分的标识符号；

46、步骤s6.2：汇总步骤s5中的异常值分析结果和审核结果，并在数据库中保存；

47、步骤s6.3：根据汇总的审核结果，生成判断数值矩阵，其中审核结果为正常对应的数值为0，审核结果为异常对应的数值为1，并根据预设的每一个类型的评价加权系数进行加权求和得到评价得分，如果某时刻样本的评价得分超过预设阈值，则该样本最终审核为‘无效’，反之为‘有效’。

48、优选地，在步骤s7中，对审核结果进行展示的步骤包括：

49、步骤s7.1：构建可视化数据审核报表：报表的索引为监测数据时间，报表的表头为vocs组分名称和样本审核结果，报表的内容包含vocs组分监测浓度值，监测浓度值后添加质控审核标识位，并根据步骤s5中获得的vocs组分浓度数据异常值结果，给各数值加以颜色进行突出显示，如果数值正常则无颜色，反之需根据异常值类型用不同颜色显示；

50、步骤s7.2：绘制样本审核结果图，包含两张子图，第一张子图为tvocs浓度时间变化趋势线图，并根据步骤s6中样本最终审核结果对异常时刻予以标记，第二张子图棋盘图展示审核结果，如果审核为异常则对应的棋盘格填充为黑色，反之填充为白色。

51、基于上述技术方案，本发明的优点是：

52、(1)本发明能够实时对vocs监测数据进行自动化审核，替代了传统的人工审核方式，提高了审核的效率和时效性；

53、(2)能够实时审核监测数据和设备质控数据，及时反馈审核结果，有效监督设备的运维状况和数据质量；

54、(3)采用智能化技术对数据进行合理性判断，预设不同的审核问题、审核角度和规则，提高了数据审核的可靠性和准确性；

55、(4)对不同审核内容和审核结果进行多角度汇总和展示，审核更加全面，避免了单一角度审核可能带来的局限性。

56、(5)能够准确找出异常数据的时间、组分和异常数据类型，减少了异常数据被遗漏的风险。

57、(6)通过自动化审核，降低了对审核人员专业水平的依赖，消除了人工审核习惯、流程和主观判断的影响，保证了审核的一致性；

58、(7)自动化审核大幅降低了人工审核的成本，提高了数据审核的经济性。