一种基于电力数据网络管理的分析处理系统的制作方法

本发明涉及电力，具体为一种基于电力数据网络管理的分析处理系统。

背景技术：

1、电力网络系统在生成和运维过程中产生和存储大量数据，电力输、变、配、用各环节都产生大量不同类型的数据。电网中的各种继电保护设备、故障录波器及安全自动装置不间断的运行，记录了海量的历史故障数据。但大多数数据并没有得到行之有效的使用，有些数据未被及时整理而被闲置，有些超过设备设定的保存期限或者没有足够的存储空间而被丢弃，虽然有些可以通过设置阀值来降低采集的数据量，但这种方式会损失原始数据中可能存在的重要信息，传统的电力网络系统数据存储的解决方案中，硬件方面选用配备磁盘阵列的高性能服务器，软件则使用较为成熟的商用关系数据库。这种传统配置的缺点是数据存储扩展性较差，同时扩展成本较高，无力应对现有大数据的需求。因此，设计智能管理及高效分析的一种基于电力数据网络管理的分析处理系统是很有必要的。

技术实现思路

1、本发明的目的在于提供一种基于电力数据网络管理的分析处理系统，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于电力数据网络管理的分析处理系统，包括：管理控制模块、分析处理模块与查询统计模块，管理控制模块与分析处理模块网络连接，所述分析处理模块与查询统计模块网络连接，所述管理控制模块用于进行电力网络数据的管理控制，所述分析处理模块用于进行电力网络的分析处理，所述查询统计模块用于进行电力网络数据的查询统计。

3、根据上述技术方案，所述管理控制模块包括架构管理模块、数据聚合模块与提交处理模块，所述架构管理模块与数据聚合模块网络连接，所述数据聚合模块与提交处理模块网络连接，所述架构管理模块用于进行电力网络数据存储架构设计管理，所述数据聚合模块用于进行电力网络数据的聚合控制，所述提交处理模块用于进行数据信息的提交分析管理。

4、根据上述技术方案，所述分析处理模块包括容错复制模块、监督分析模块与文件管理模块，所述容错复制模块与监督分析模块网络连接，所述监督分析模块与文件管理模块网络连接，所述容错复制模块用于进行数据容错控制管理，所述监督分析模块用于进行电力网络数据的容错监督处理，所述文件管理模块用于进行电力网络的文件数据信息管理控制。

5、根据上述技术方案，所述查询统计模块包括数据查询模块与统计反馈模块，所述数据查询模块与统计反馈模块网络连接，所述数据查询模块用于进行电力网络数据的查询管理，所述统计反馈模块用于进行用户意见的统计反馈管理。

6、根据上述技术方案，所述一种基于电力数据网络管理的分析处理系统的运行方法包括以下步骤：

7、步骤s1：在进行电力网络数据处理过程时，对电力网络数据架构进行设计管理；

8、步骤s2：完成架构设计管理后，进行电力网络数据的聚合及提交进行分析控制；

9、步骤s3：进一步对电力网络数据进行分析优化处理；

10、步骤s4：对电力网络数据查询及用户意见反馈数据信息进行控制管理。

11、根据上述技术方案，所述步骤s1进一步包括以下步骤：

12、进行电力网络数据处理过程时，采用分布式密集comtrade格式数据存储和处理分析的架构，其中控制元数据服务器对分布式存储的元数据信息进行记录，同时还记录数据结构、分布情况和物理地址，并将通过暂态数据存储元数据存储在元数据服务器上，使暂态数据通信服务器中也保存有未提交的部分元数据。

13、根据上述技术方案，所述步骤s2进一步包括以下步骤：

14、步骤s21：对来自不同电力网络设备的文件数据信息进行聚合处理，使聚合后的comtraden中每个文件的偏移位置需要单独以索引方式记录，并将索引记录保存在索引区域中，索引区域保存了聚合前所有文件的原始文件名、文件类型、文件大小，以及该文件在聚合文件的偏移值信息，在访问原始文件时，首先要根据原始文件名检索原始文件在聚合文件的偏移值和文件大小，然后根据偏移值，移动聚合文件指针，定位到原始文件数据所在位置，然后再按照文件大小进行数据读取；

15、步骤s22：电力网络元数据服务器和原始数据服务器中的每个成员节点检查自己是否被其它节点所引用，若被引用立刻通知这些引用节点进入提交前的准备阶段，具体为：检查本节点相关的事务是否涉及写任务，如果没有写数据操作，可直接报告准备就绪，同时返回准备就绪信息给通信服务器，若数据存在写操作任务，则等待当前写任务执行成功，再提交准备就绪，向通信服务器返回准备就绪的信息，否则返回准备阶段任务失败的信息。

16、根据上述技术方案，所述步骤s3进一步包括以下步骤：

17、步骤s31：在电力网络通信服务器的客户端发起电力网络数据存储请求后，分析确定参与复制的块数据组拆分粒度，并向负责持久化存储节点storagenode发出传输comtrade文件的请求，完成块数据的复制后，将每个数据块保存至存储节点storagenode；

18、步骤s32：进一步由client选择复制组中的其中两个分部完成主从复制，复制过程中向acceptor0通知复制消息报告begincommit，acceptor0收到客户端发送的begincommit后，选择一个最大投票号并向所有acceptor发送已经准备就绪的消息，每个收到prepare(n)消息的acceptor执行相同的判断，若没有向别的进程发出承诺否决小于编号n的决议的投票，则表示投赞成票，即向发起者acceptor0回复确认消息promise，acceptor0收到超过半数的promise消息回复后，则统计工作开始，并将统计结果保存至max向量；

19、步骤s33：将comtrade数据的配置信息作为电力网络元数据单独保存在nosql数据库中，同时保存了hdfs文件名和该文件对应的文件偏移值。

20、根据上述技术方案，所述步骤s4进一步包括以下步骤：

21、步骤s41：管理人员可以根据电力网络站点、日期、设备类型进行查询，也可以不输入条件查询当天的所有电力网络设备的详细数据；

22、步骤s42：根据设定的周期将电力网络的数据信息进行统计，并反馈至管理平台供管理人员进行分析查阅。

23、与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有管理控制模块、分析处理模块与查询统计模块，使元数据记录信息还包括地址空间的使用情况、数据完整性信息、不一致数据状态信息、以及服务器的管理日志，以达到快速定位记录的目的，有效提升电力网络数据的信息存储管理效率，避免存储资源的消耗及系统运行负荷的产生，同时有效提升电力网络数据文件位置检索速度。

技术特征：

1.一种基于电力数据网络管理的分析处理系统，包括：管理控制模块、分析处理模块与查询统计模块，其特征在于：管理控制模块与分析处理模块网络连接，所述分析处理模块与查询统计模块网络连接，所述管理控制模块用于进行电力网络数据的管理控制，所述分析处理模块用于进行电力网络的分析处理，所述查询统计模块用于进行电力网络数据的查询统计。

2.根据权利要求1所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述管理控制模块包括架构管理模块、数据聚合模块与提交处理模块，所述架构管理模块与数据聚合模块网络连接，所述数据聚合模块与提交处理模块网络连接，所述架构管理模块用于进行电力网络数据存储架构设计管理，所述数据聚合模块用于进行电力网络数据的聚合控制，所述提交处理模块用于进行数据信息的提交分析管理。

3.根据权利要求1所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述分析处理模块包括容错复制模块、监督分析模块与文件管理模块，所述容错复制模块与监督分析模块网络连接，所述监督分析模块与文件管理模块网络连接，所述容错复制模块用于进行数据容错控制管理，所述监督分析模块用于进行电力网络数据的容错监督处理，所述文件管理模块用于进行电力网络的文件数据信息管理控制。

4.根据权利要求1所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述查询统计模块包括数据查询模块与统计反馈模块，所述数据查询模块与统计反馈模块网络连接，所述数据查询模块用于进行电力网络数据的查询管理，所述统计反馈模块用于进行用户意见的统计反馈管理。

5.根据权利要求1所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述一种基于电力数据网络管理的分析处理系统的运行方法包括以下步骤：

6.根据权利要求5所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述步骤s1进一步包括以下步骤：

7.根据权利要求5所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述步骤s2进一步包括以下步骤：

8.根据权利要求5所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述步骤s3进一步包括以下步骤：

9.根据权利要求5所述的一种基于电力数据网络管理的分析处理系统，其特征在于：所述步骤s4进一步包括以下步骤：

技术总结本发明公开了一种基于电力数据网络管理的分析处理系统，包括：管理控制模块、分析处理模块与查询统计模块，管理控制模块与分析处理模块网络连接，所述分析处理模块与查询统计模块网络连接，所述管理控制模块用于进行电力网络数据的管理控制，所述分析处理模块用于进行电力网络的分析处理，所述查询统计模块用于进行电力网络数据的查询统计。所述管理控制模块包括架构管理模块、数据聚合模块与提交处理模块，所述架构管理模块与数据聚合模块网络连接，所述数据聚合模块与提交处理模块网络连接，所述架构管理模块用于进行电力网络数据存储架构设计管理。本发明，具有智能管理及高效分析的特点。技术研发人员：夏菲,孟凡博,王群,张瑜,刘冬,周荣坤,梁纯涛受保护的技术使用者：国网辽宁省电力有限公司信息通信分公司技术研发日：技术公布日：2024/8/27