一种大数据信息采集方法及系统与流程

本发明涉及数据处理，具体为一种大数据信息采集方法及系统。

背景技术：

1、随着通信技术、计算机网络技术和大数据产业的发展，智能电网设备规模快速增长，用电信息采集系统由系统主站、传输信道、采集终端以及智能电表组成，随着智能电网规模的扩大和输出负荷量的提升，在运行过程中，电网难免会发生故障，电力系统中的负荷分布、线损情况等均会发生变化，这会对用电信息的判断造成较大影响，使电力系统无法精准掌握用电需求，导致用电规划的合理性降低，因此，电力系统进行终端用电规划的关键在于有效地采集和管理电网故障下的用电信息，电网的用电信息对于电网用电规划、窃电监测、用电需求预测等均具有重要意义。

2、但是，传统用电信息数据采集系统硬件存在采集精度与速度不高、计算效率低的问题，同时由于电力系统结构复杂，运行数据具有动态变化特性，并且电力系统在故障情况下所产生的信息具有一定的随机性和变化性，导致用电信息的融合效果较差，目前还存在一些不法经营者会不择手段地窃取电能，窃电行为不仅损害了电力企业的经济利益，还危及电网的安全运行，阻碍了电力行业的发展，现有反窃电方法对人的依赖性强，精确度和效率难以满足反窃电工作的要求，用电信息数据采集对窃电嫌疑用户的判断也尤为重要。

3、鉴于此，本技术拟提出一种大数据信息采集方法及系统。

技术实现思路

1、本发明的目的在于提供一种大数据信息采集方法及系统，以解决上述问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种大数据信息采集方法，包括以下步骤：

4、s1、通过多个前置数据采集器采集居民用电的实时用电数据信息；

5、s2、通过前置机中央处理器和通信算法对采集到的用电数据信息进行处理，再通过通信网络将其存储在分布式数据库中；

6、s3、对分布式数据库中的用电数据信息进行数据预处理、多源数据信息分类、多源数据特征提取和信息融合处理；

7、s4、通过构建不同的窃电诊断分析模型，实现对窃电嫌疑用户的分析和识别；

8、s5、通过目标台区筛选的方式，筛选出窃电嫌疑用户的台区；

9、s6、构建重点用户分析模型，使用层次分析法评分的方式，实现对窃电嫌疑用户的分析和识别。

10、进一步的，在步骤s3中，通过多源数据信息分类模型，对分布式数据库中的用电数据信息进行多源数据信息分类，包括以下步骤：

11、a1、多源用电信息分类模型以数据处理后的原始用电数据为基础，在完成对数据的初步筛选后，对其中的小样本数据执行采样处理和复制处理；

12、a2、多源用电信息分类模型通过深度置信网络dbm对小样本数据执行解耦处理和编码处理，建立编码数据集；

13、a3、再进行复制处理，通过dbm网络对新数据进行编码处理后，对该数据和原始数据进行纵向拼接操作，以获取用电的扩充数据；

14、a4、依据该数据进行极限学习机网络的训练，实现用电数据的分类处理，并形成静态数据集和动态数据集。

15、进一步的，在步骤s3中，所述对分布式数据库中的用电数据信息进行多源数据特征提取，包括以下步骤：

16、b1、通过数据驱动的互信息原理完成特征提取，静态数据集动态数据集之间的互信息计算式为：；

17、式中：为 和 之间的联合概率密度函数， 和 均为边缘概率密度函数，分别对应 和 ；

18、b2、基于互信息提取 和 的特征量，提取结果为：；

19、式中： 为初始特征量， 为维度为m的特征量；

20、b3、依据上述提取结果表达式，即可获取最大化的互信息结果，保证类别不发生变化的基础上完成特征选择；

21、b4、采用分解的方式对多维互信息进行处理，以形成一维互信息， 的计算式为：；

22、式中： 和 为 和 数据集的已选特征；

23、b5、通过步骤b1-b4，实现用电信息特征集的快速提取；

24、b6、初始变量选择和第二变量选择分别为：；

25、b7、依据步骤b6中表达式，即可完成剩余变量的选择，每次选择依据互信息最大的原则进行下一个特征的选择，在进行选择时，设定阈值n，当循环次数达到该阈值时选择停止。

26、进一步的，在步骤s5中，所述目标台区筛选方式包括对台区进行用户变化变动监测、档案核查、异常监测分析和异常指标分析，档案核查包括多考核计量点、光伏计量点主用途错误和双向计量异常核查，用户变化变动监测主要筛选近一周未发生变动的台区，异常指标分析包括线损率异常、线损率日波动、三相不平衡和功率因数异常。

27、进一步的，在步骤s6中，所述重点用户分析模型包括用电量比较分析模型、用电量与线损率相关度分析模型、零火线电流不平衡分析模型和分流分析模型，利用层次分析法为不同模型得到的窃电嫌疑用户进行打分，分为一级分和二级分，并按照不同的得分将窃电嫌疑用户分为高嫌疑用户和一般嫌疑用户。

28、一种大数据信息采集系统，该系统包括数据采集单元、通信控制单元、分布式数据存储单元、数据处理单元、建立窃电诊断分析模型单元、目标台区筛选单元和评分预测单元；所述数据采集单元通过多个前置数据采集器采集居民用电的实时用电数据信息，并通过前置机中央处理和通信算法处理后存储在分布式数据存储单元中，同时在系统终端进行可视化展示；

29、所述通信控制单元通过通信网络与前置数据采集器相连以获得用电信息数据，并通过主动队列管理算法即aqm算法，将不同数据通道通过控制管理数据传达缓冲；

30、所述分布式数据存储单元与通信控制单元相连，用于将采集的居民用电实时用电数据信息储存在分布式数据库中；

31、所述数据处理单元用于对分布式数据库中的用电数据信息进行数据预处理、多源数据信息分类、多源数据特征提取和信息融合处理；

32、所述建立窃电诊断分析模型单元通过大数据分析，对不同窃电特征进行归纳，构建不同的窃电诊断分析模型，实现对窃电嫌疑用户的分析和识别；

33、所述目标台区筛选单元用于对台区进行用户变化变动监测、档案核查、异常监测分析和异常指标分析，筛选出窃电嫌疑用户的台区；

34、所述评分预测单元通过构建重点用户分析模型，使用层次分析法对台区中存在窃电嫌疑的重点用户进行评分，找出窃电嫌疑用户，实现对窃电嫌疑用户的分析和识别。

35、进一步的，所述数据采集单元包括数据采集模块、集中器模块和可视化模块；

36、所述数据采集模块通过初始化后的前置数据采集器的数据端口接收数据请求指令，实现对居民用电的实时用电数据信息采集；

37、所述集中器模块用于受系统终端控制而发布不同的数据请求指令，同时汇总和集中控制多个前置数据采集器的数据；

38、所述可视化模块通过系统终端进行数据的展现，实现实时数据监测和海量数据查询功能。

39、进一步的，所述数据处理单元包括数据预处理模块、多源数据信息分类模块、多源数据特征提取模块和信息融合处理模块；

40、所述数据预处理模块用于对分布式数据库中的居民用电实时用电数据信息进行预处理，实现实时数据流处理、复杂事件流处理、海量数据离线处理及数据挖掘功能；

41、所述多源数据信息分类模块通过构建多源数据信息分类模型，并通过多源数据信息分类模型完成多源用电信息分类；

42、所述多源数据特征提取模块通过数据驱动的互信息原理完成特征提取，得到特征集；

43、所述信息融合处理模块用于对提取的特征集进行汇总，使其均位于源节点内，并通过卡尔曼滤波算法kf对特征集中的冗余特征进行处理，完成用电数据的一致性融合。

44、进一步的，所述多源数据信息分类模块通过多源数据信息分类模型完成多源用电信息分类，包括以下步骤：

45、c1、设原始数据为，第i个采集点采集的用电数据为 ，数据行向之间的相关系数矩阵为，深度置信网络dbm的可视层节点数量为20；

46、c2、对进行筛选归一化处理，在获取其中的小样本数据后，将获取的采样数据使用 表示， 和 通过深度置信网络dbm进行训练学习后，输出分别为 和 ；

47、c3、 和 具有相同的维度，并且耦合度较低，采用纵向拼接的方式对两者进行处理，可获取 的采样数据结果 ，且 的表达式如下：；

48、c4、依据上述数据进行极限学习机网络的训练，可实现用电数据分类，并形成静态数据集 和动态数据集 。

49、1.本发明的有益效果：本发明中，通过多个前置数据采集器采集居民用电的实时用电数据信息后，通过通信控制单元将其存储在分布式数据库中，通信控制单元通过主动队列管理算法将不同数据通道通过控制管理数据传达缓冲，进而实现用电数据信息传递网络运行的稳定，主动队列管理算法对波动数据的敏感性更强，筛选范围更广泛，将用电数据信息管理数据的波动控制在一定范围内，避免影响整个用电数据信息传递网络，提高用电信息采集精度和速度，提高了业务通信质量和用电数据信息管理系统的稳定性，同时实现通信资源的合理分配，提高了电力数据通信效率；

50、2.本发明中，通过设置数据处理单元，在分类处理多源用电信息后，获取其中的动态数据和静态数据，通过数据驱动提取不同类别用电数据的特征集，利用卡尔曼滤波算法去除特征集中的冗余特征，完成对用电信息的一致性特征描述，从而获得用电信息融合结果，能够完成终端用户用电量的统计，更好地解决了电网多源故障时的用电信息采集和处理问题，同时利用该技术所得的用电信息融合结果，能够方便后续可靠地预测用电需求、识别异常用电行为；

51、3.本发明中，以采集和处理后的用电信息数据为基础，通过目标台区筛选的方式，筛选出窃电嫌疑用户的台区，同时针对存在疑似窃电用户的台区，通过多个重点用户分析模型，使用层次分析法评分的方式，找出窃电嫌疑用户，实现对窃电嫌疑用户的分析和识别，根据模型评分规则，将嫌疑用户按照评分区间划分为高、一般两档，为用电检查人员提供高风险等级窃电嫌疑目标用户，提升反窃查违工作质量和效率。