一种电力监测数据存储管理方法、系统、设备及介质与流程

所属的技术人员能够理解，电力监测数据存储管理方法各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

背景技术：

1、在电力行业中，随着智能电网的快速发展和数字化转型的推进，电力监测数据的跨部门、跨系统共享和信息整合变得日益重要。电力监测数据不仅涵盖了电网运行状态、设备健康状况、能源消费情况等多个方面，还是电力公司决策制定、运行管理以及故障处理的关键依据。然而，由于不同部门、系统之间的数据孤岛现象严重，数据共享和信息整合面临着诸多挑战。

2、通过数据存储管理，可以对数据进行合理的分类、索引和存储，提高数据的检索和访问效率。这样，当电力公司需要查询或分析数据时，可以快速定位到所需数据，提高工作效率。

3、现有的电力监测数据存储管理方法通常基于关系型数据库，采用固定的数据结构和存储模式，无法有效应对电力监测数据的特点。一方面，电力监测数据具有实时性高、变化快的特点，需要频繁地进行数据的写入和更新操作；另一方面，电力监测数据往往存在大量的重复和冗余信息，需要进行有效的去重和压缩处理。因此，开发一种高效、灵活、可扩展的电力监测数据存储管理方法，对于提高电力监测系统的性能和效率具有重要意义。

技术实现思路

1、针对电力监测数据存储管理存在的问题，本发明提供一种电力监测数据存储管理方法、系统、设备及介质。

2、第一方面，本发明技术方案提供一种电力监测数据存储管理方法，所述方法基于管系统，所述系统包括设置在同一集群的管理节点和若干个存储节点；管理节点还连接有若干电力设备；该方法包括如下步骤：

3、管理节点接收电力设备发送的数据写入请求；

4、对数据写入请求进行发送端的身份验证，验证通过后接收电力设备发送的数据；

5、对接收的数据进行处理划分数据块并计算数据块id；

6、判断索引表内是否包含所述数据块id；索引表为数据块id与物理地址的对应关系表并记录物理地址的写入次数；

7、若是，更新索引表中对应的写入次数并将接收到的数据进行缓存；

8、若否，获取各存储节点的状态根据各存储节点的状态确定目的存储节点；

9、将数据块id对应的数据块写入目的存储节点；

10、对写入目的存储节点的数据块创建对应的索引；所述索引定义为目标索引；

11、基于目标索引更新索引表。

12、作为本发明技术方案的进一步限定，对接收的数据进行处理划分数据块并计算数据块id的步骤包括：

13、对接收到的数据按照设定长度进行划分，划分为长度相同的若干数据块；

14、通过计算每个数据块的哈希值来设置对应数据块的数据块id。

15、作为本发明技术方案的进一步限定，获取各存储节点的状态根据各存储节点的状态确定目的存储节点的步骤包括：

16、获取最新的k-1次记录的每个存储节点的故障次数；

17、设置每次记录对应的权重系数；

18、根据设置的权重计算任一存储节点的平均故障次数；

19、根据单个存储节点的平均故障次数计算n个节点的平均故障次数；

20、根据计算的平均故障次数将存储节点按照可靠性由高到低进行排序；

21、按照存储节点的可靠性结合存储节点的空闲空间确定目标存储节点。

22、作为本发明技术方案的进一步限定，基于目标索引更新索引表的步骤包括：

23、根据目标索引对索引表进行查询；

24、根据查询结果判定索引表中是否包括与目标索引相同的索引；

25、若是，将目标索引标记为删除状态；

26、若否，基于目标索引创建被更新数据对应的索引到索引表。

27、作为本发明技术方案的进一步限定，将目标索引标记为删除状态的步骤之前或之后包括：

28、将索引表中与目标索引相同的索引对应的物理地址的写入次数加一。

29、作为本发明技术方案的进一步限定，将数据块id对应的数据块写入存储节点的步骤包括：

30、获取数据块id对应的数据块；

31、根据数据块的长度计算所占用的数据行数量，从索引表中获取空闲的首个数据行位置，将数据写入该数据行中；

32、若当前数据长度超过一条数据行的承载量，则继续获取空闲的数据行，直到全部数据块写入完成；并建立数据行之间的关联链接。

33、作为本发明技术方案的进一步限定，该方法还包括：

34、接收到访问请求后，基于访问请求的内容，扫描数据行识别其中数据记录的首个数据行位置，实现访问数据的提取；

35、将提取到的数据返回到前端显示。

36、第二方面，本发明技术方案还提供一种电力监测数据存储管理系统，所述系统包括设置在同一集群的管理节点和若干个存储节点；管理节点还连接有若干电力设备；管理节点包括接收模块、处理模块、数据块id判断模块、更新缓存模块、存储节点确认模块、数据写入模块和索引创建模块；

37、接收模块，用于接收电力设备发送的数据写入请求；对数据写入请求进行发送端的身份验证，验证通过后接收电力设备发送的数据；

38、处理模块，用于对接收的数据进行处理划分数据块并计算数据块id；

39、数据块id判断模块，用于判断索引表内是否包含所述数据块id；索引表为数据块id与物理地址的对应关系表并记录物理地址的写入次数；

40、更新缓存模块，用于更新索引表中对应的写入次数并将接收到的数据进行缓存；基于目标索引更新索引表；

41、存储节点确认模块，用于获取各存储节点的状态根据各存储节点的状态确定目的存储节点；

42、数据写入模块，用于将数据块id对应的数据块写入目的存储节点；

43、索引创建模块，用于对写入目的存储节点的数据块创建对应的索引；所述索引定义为目标索引。

44、作为本发明技术方案的进一步限定，处理模块包括划分单元和计算设置单元；

45、划分单元，用于对接收到的数据按照设定长度进行划分，划分为长度相同的若干数据块；

46、计算设置单元，用于通过计算每个数据块的哈希值来设置对应数据块的数据块id。

47、作为本发明技术方案的进一步限定，存储节点确认模块，具体用于获取最新的k-1次记录的每个存储节点的故障次数；设置每次记录对应的权重系数；根据设置的权重计算任一存储节点的平均故障次数；根据单个存储节点的平均故障次数计算n个节点的平均故障次数；根据计算的平均故障次数将存储节点按照可靠性由高到低进行排序；按照存储节点的可靠性结合存储节点的空闲空间确定目标存储节点。

48、作为本发明技术方案的进一步限定，索引表更新模块，具体用于根据目标索引对索引表进行查询；根据查询结果判定索引表中是否包括与目标索引相同的索引；若是，将目标索引标记为删除状态；若否，基于目标索引创建被更新数据对应的索引到索引表。

49、作为本发明技术方案的进一步限定，索引表更新模块，还用于将索引表中与目标索引相同的索引对应的物理地址的写入次数加一。

50、作为本发明技术方案的进一步限定，数据写入模块，具体用于获取数据块id对应的数据块；根据数据块的长度计算所占用的数据行数量，从索引表中获取空闲的首个数据行位置，将数据写入该数据行中；若当前数据长度超过一条数据行的承载量，则继续获取空闲的数据行，直到全部数据块写入完成；并建立数据行之间的关联链接。

51、作为本发明技术方案的进一步限定，请求接收模块，还用于接收访问请求；

52、请求处理模块；还用于基于访问请求的内容，扫描数据行识别其中数据记录的首个数据行位置，实现访问数据的提取；将提取到的数据返回到前端显示。

53、第三方面，本发明技术方案还提供一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的电力监测数据存储管理方法。

54、第四方面，本发明技术方案还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述的电力监测数据存储管理方法。

55、从以上技术方案可以看出，本发明具有以下优点：通过解析数据写入请求，将数据划分为固定长度的数据块，并计算哈希值作为数据块id，实现了对数据的快速定位和查找。同时，利用索引表记录数据块id与物理地址的对应关系，避免了在数据库中进行全表扫描，提高了数据的存储效率。通过检查索引表是否包含数据块id，可以判断待写入的数据是否已经存在。若已存在，则不保存该数据块，减少了数据的冗余存储。同时，索引表还记录了物理地址的写入次数，可以根据写入次数进行数据的优化和清理操作，进一步减少数据冗余。对于已经写入数据库的数据块，通过创建对应的索引并更新索引表，可以快速定位到目标数据块的位置，提高了数据的查询速度。同时，索引的创建和更新操作与数据写入操作相互独立，保证了数据写入和查询的并发性。本发明所述的电力监测数据存储管理方法采用模块化的设计思想，各个模块之间相对独立，可以根据实际需求进行扩展和定制。例如，可以根据电力监测数据的特点设计不同的数据划分策略和哈希算法，以适应不同的应用场景。

56、此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。