矿井电法监测系统异常数据辨识方法与流程

本发明属于电法监测监控，涉及一种异常数据检测的方法。

背景技术：

1、在矿井电法监测监控系统运行过程中执行异常数据检测的意义在于，通过对异常数据的甄别，辅助排查异常产生的原因。监测监控系统中的异常数据产生的原因有三：由于系统硬件异常导致了采集到异常的数据；由于监测监控系统所在的外部环境异常导致了采集到异常数据；无意义的噪声数据，噪声作为异常数据并不能反映系统本身或是外部坏境的任何异常变化。实际生产生活中，这三类异常往往同时存在，因此电法监测系统采集到的异常数据可能来源于设备本身的问题，也可能来源于外部环境的异常变化，还可能是毫无分析价值的噪声数据。对于专业分析人员，需要在某种异常检测机制的提醒下对以上三类异常数据进行甄别；现有技术中，基本是依靠人工经验判断异常，难以识别系统异常，并存在费时、判断不精准等问题。

技术实现思路

1、针对现有技术中存在的不足，本发明的目的在于，提供一种矿井电法监测系统异常数据辨识方法，以解决现有技术难以检测系统异常、异常识别结果不准确等问题。

2、为了解决上述技术问题，本发明采用如下技术方案予以实现：

3、矿井电法监测系统异常数据辨识方法，包括以下步骤：

4、步骤一，构建基准模型ρ0：

5、取某一时间段的矿井电法监测发射电流和接收电压数据作为训练集σ0，对σ0做基于自身的minmax归一化处理后得到数据集σ0′，对σ0′执行基于二叉树的异常检测算法，得到基准模型ρ0；

6、步骤二，进行归一化及异常检测：

7、对于测试集σ1，先对其进行基于训练集σ0的minmax归一化，获得数据集σ1′；利用基准模型ρ0对σ1′进行异常检测，获得单个样本的异常得分，根据异常得分将样本划分成异常数据集β1和正常数据集α1，并获得异常数据集的异常系数δ(σ1)以初步划分系统异常sb或系统异常ss；

8、步骤三，计算步骤二所得异常数据比例：其中j为异常数据集β1的样本个数，n为数据集σ1′的样本个数；定义阈值∈0，如果∈1>∈0，则执行下一步；否则将β1标记为普通异常p，将α1标记为正常数据，返回步骤一；

9、步骤四，进行第二次归一化及异常检测：

10、将测试集σ1做基于自身的minmax归一化，获得数据集σ1″，利用基准模型ρ0对σ1″进行异常检测，得到异常数据集β2以及正常数据集α2；

11、步骤五，计算步骤四所得异常数据比例：若∈2＜＜∈1，且步骤二中得到的异常系数满足1>δ(σ1)＞＞0.5，则判断该时间段内的异常数据为系统异常sb；若∈2＜＜∈1，且0<δ(σ1)＜＜0.5，则判断此组异常数据为系统异常ss；完成异常数据辨识流程。

12、本发明还包括如下技术特征：

13、具体的，所述步骤一包括：

14、步骤1.1，对训练集σ0做基于自身的minmax归一化处理，记minmax归一化后的数据集为σ0′，有具体算法为：

15、

16、其中min(σ0)表示训练集σ0的最小值，max(σ0)表示训练集σ0的最大值；为某一时刻k的发射电流或接收电压数据；训练集满足：式中，取n个时刻的数据，为某一时刻k的发射电流或接收电压数据；

17、步骤1.2，对于归一化后的数据集σ0′，随机选取m个样本组成样本集σ′，作为构建二叉树的输入，设置超参数l，为单个二叉树的最高限度；

18、步骤1.3，在样本集中σ′随机选取特征f及其对应值p，使min(σ′f)≤p≤max(σ′f)；min(σ′f)为特征f的最小值，max(σ′f)为特征f的最大值；

19、步骤1.4，将p作为二叉树的根节点，将σ′中所有小于p的值置于根节点的左侧，大于p的值置于根节点的右侧；依此规则，直至将样本集σ′中所有数据都单独置于二叉树的叶子节点中，或此树高度达到预设值l，至此一棵二叉树构建完毕；

20、步骤1.5，重复步骤1.2-步骤1.4n次，构建n棵不同的二叉树，组成二叉树森林，即基准模型ρ0。

21、具体的，所述步骤二包括：

22、步骤2.1，对测试集做基于训练集σ0的minmax归一化处理，记minmax归一化后的数据集为σ1′，有具体算法为:

23、

24、其中，表示测试集σ1某一时刻k的发射电流或接收电压值，表示归一化处理后该时刻的发射电流或接收电压值；

25、步骤2.2，利用基准模型ρ0对归一化后的数据集σ1′进行异常检测，将σ1′中每个样本放入基准模型ρ0，计算其异常得分：

26、

27、其中，n为构建基础模型ρ0的所有样本个数；为样本从二叉树根节点到样本节点的路径长度；则为样本点在所有二叉树的路径长的平均长度；c(n)为样本数为n时路径的平均值；

28、对于每个样本及其异常得分若则认为为正常样本，放入正常数据集α1；反之若则认为为异常样本，放入异常数据集β1；从而得到异常数据集和正常数据集

29、步骤2.3，对于异常数据集β1，计算每个点的异常系数其中n为测试集σ1的样本数；τ是计数器；计算数据集σ1的整体异常系数δ(σ1)：

30、

31、其中j为异常数据集β1的样本数；

32、若整体异常系数δ(σ1)越接近1，则说明数据集是sb的概率越高；若整体异常系数δ(σ1)越接近0，说明数据集是ss的概率越高。

33、具体的，所述步骤四中，测试集σ1做基于自身的归一化处理，记minmax归一化后的数据集为σ1″，且有具体算法为：

34、

35、式中，表示测试集σ1某一时刻k的发射电流或接收电压值，表示归一化处理后该时刻的发射电流或接收电压值；其中min(σ1)表示测试集σ1的最小值，max(σ1)表示测试集σ1的最大值。

36、一种所述的基准模型的自更新方法，包括以下步骤：

37、步骤a，在对采集数据进行异常检测的同时，记录所检测到的数据总量κ；

38、步骤b，定义阈值κ0，当κ>κ0时，执行以下基准模型ρ0的自更新算法；

39、步骤c，在数据库中读取所有被标记为正常的数据和被标记为普通异常p的数据，从中随机取样获得数据集，记取样的正常数据数量为ζ，标记为p的普通异常数据量为η，取样规则满足：ζ>0∧η>0；ζ＞＞η；

40、步骤d，针对步骤c所获得的数据集，基于自身进行minmax归一化获得归一化后的数据集，建立新的改进后的二叉树森林基准模型ρ1，并用该模型替代基准模型ρ0；

41、步骤e，使用步骤d获得的基准模型ρ1执行新采集数据的异常检测，并恢复对正常数据和普通异常的计数，即令ζ＝0∧η＝0，回到异常数据辨识流程。

42、本发明与现有技术相比，具有如下技术效果：

43、本发明能针对矿井电法监测系统的发射电流和接收电压的ss和sb以及p型异常进行高效且准确的辨识，从而对矿井电法监测系统故障以及外部视电阻率异常均有良好的检测功能。

44、本发明提供的基准模型的自更新方法，通过反复执行模型的自更新，可以将外部环境的变化过程记录在模型之中，使异常检测模型适配随时间变化的外部环境，确保该异常检测模型和外部环境保持动态的吻合，从而在时间维度上提高了异常检测的可靠性。本发明算法可离线使用，也可以适配长期监测系统。