能源系统数据分布式管理系统和数据查询方法与流程

本技术属于能源系统管理，尤其涉及能源系统数据分布式管理系统和数据查询方法。

背景技术：

1、能源大数据来源具有参与方多、种类繁杂、质量参差不齐等特征，传统的关系型数据库在大数据交互背景下不再可用，不同系统数据架构不一，不同专业数据格式不一，不同企业数据存储不一。各个能源行业数据缺乏统一的数据建模标准，导致数据响应需求变化能力不足，快速共享能力不强。同时，电力行业普遍采用的集中式数据存储的模式不仅计算效率低下，服务器云计算又需要将大量数据从存储节点迁移至计算节点，这在大数据环境下会造成巨大的网路传输开销，往往成为数据交互的性能瓶颈。

技术实现思路

1、本技术实施例提供了能源系统数据分布式管理系统和数据查询方法，以提高海量能源系统数据的存储与查询的效率。

2、本技术是通过如下技术方案实现的：

3、第一方面，本技术实施例提供了一种能源系统数据分布式管理系统，包括：数据接收层、数据存储层、数据处理层和数据应用层。数据存储层中包括hbase数据库和redis数据库。

4、数据接收层，用于接收能源系统的能源系统数据，并将能源系统数据传输至数据存储层；其中，能源系统数据包括非结构化数据、半结构化数据和结构化数据；数据存储层，用于将能源系统数据存储于hbase数据库中；数据处理层，用于计算半结构化数据和结构化数据的热值，并基于热值确定热点数据；将热点数据以列转键值对的方式存储进redis数据库；系统应用层，用于当用户的查询指令查询的数据为热点数据时，直接从redis数据库中查询并显示该数据。

5、结合第一方面，在一些可能的实现方式中，数据处理层，用于：

6、结合第一公式，计算hbase数据库中的半结构化数据和结构化数据的热值。

7、第一公式为：

8、

9、其中，hs表示数据的热值，ca表示热值计算周期内数据被查询的次数，cq表示热值计算周期内系统查询数据的总次数，α表示周期查询热值权重，β表示时间戳热值权重，t表示时间衰减因子，λ表示衰减速率参数，tsn表示当前时间戳，tsd表示数据时间戳。

10、结合第一方面，在一些可能的实现方式中，能源系统数据分布式管理系统包括二级索引结构；

11、二级索引结构，包括：第一级索引和第二级索引。

12、第一级索引存储于hbase数据库中，为基于hbase数据库中的存储数据建立的hbase目录表，为hbase数据库的目录索引。

13、第二级索引存储于redis数据库中，为基于hbase数据库中的hbase文件表中非主键列族建立的索引；第二级索引为将hbase文件表的文件路径作为哈希表的键，在哈希表的字段中存储非主键的键名，在值字段存储行键信息的索引。

14、hbase目录表，用来存储管理hbase文件表中的索引信息，hbase目录表将文件路径作为hbase目录表的行键，hbase目录表将子目录、时间戳和文件名作为hbase目录表为列族。

15、hbase文件表，用来存储数据；hbase文件表以时间戳和文件名作为hbase文件表的行键，hbase文件表以文件属性和文件内容作为hbase文件表的列族；文件属性包括文件大小、创建时间、修改时间和访问次数。

16、结合第一方面，在一些可能的实现方式中，系统应用层，还用于：

17、当用户的查询指令查询的数据不为热点数据时，则判断用户的查询指令是否为hbase主键查询。

18、若用户的查询指令是hbase主键查询，则基于hbase目录表和hbase文件表进行主键查询，查询用户的查询指令查询的数据，并将查询结果返回给用户。

19、若用户的查询指令不是hbase主键查询，则根据redis数据库中存储的hbase非主键索引取得用户的查询指令查询的数据在hbase数据库的行键值，转至hbase数据库通过行键值进行主键查询，并将查询结果返回给用户。

20、当用户的查询指令查询的数据为非结构化数据时，则根据hbase目录表和hbase文件表，查询用户的查询指令查询的数据，并将查询结果返回给用户。

21、结合第一方面，在一些可能的实现方式中，数据处理层，还用于：

22、当热点数据本身的数值产生变化时，更新redis数据库对应的值。

23、当热点数据产生变化时，删除redis数据库中的列转键值对，并将变化后的热点数据以列转键值对的方式存储进redis数据库。

24、结合第一方面，在一些可能的实现方式中，数据接收层，用于：

25、接收能源系统的能源系统数据。

26、对能源系统数据进行预处理，将与处理后的能源系统数据传输至数据存储层。

27、结合第一方面，在一些可能的实现方式中，数据接收层，还用于：

28、判断能源系统数据缺失的数据是否为核心数据，若核心数据缺失，则删除该能源系统数据；其中，核心数据为设备id、数据采集时间和数据来源。

29、若核心数据未缺失，则利用线性插值算法对能源系统数据缺失的数据进行补全。

30、结合第一方面，在一些可能的实现方式中，数据处理层，还用于：

31、将热点数据以列转hash类型键值对的方式存储进redis数据库。

32、结合第一方面，在一些可能的实现方式中，hbase数据库包括至少三台计算终端组成的集群结构；redis数据库包括至少三台计算终端构成的分片结构。

33、第二方面，本技术实施例提供了一种能源系统数据查询方法，应用于如第一方面任一项所述的能源系统数据分布式管理系统中的系统应用层，方法包括：

34、获取用户的查询指令，根据用户的查询指令，确定目标数据和目标数据的类型；其中，目标数据表征用户的查询指令查询的数据。

35、若目标数据的类型为非结构化数据，则根据hbase目录表和hbase文件表查询目标数据，并将查询结果返回给用户。

36、若目标数据的类型不为非结构化数据，判断目标数据是否为热点数据，若目标数据为热点数据，则在redis数据库中直接查询目标数据，并将查询结果返回给用户。

37、若目标数据不为热点数据，则判断用户的查询指令是否为hbase主键查询，若用户的查询指令为hbase主键查询，则基于hbase目录表和hbase文件表进行主键查询，查询目标数据，并将查询结果返回给用户。

38、若用户的查询指令不为hbase主键查询，则根据redis数据库中存储的第二级索引取得目标数据在hbase数据库的行键值，转至hbase数据库进行主键查询，并将查询结果返回给用户。

39、可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

40、本技术实施例与现有技术相比存在的有益效果是：

41、本技术充分考虑了能源系统中的结构化数据、半结构化数据和非结构化数据的特点，设计了基于hbase数据库与redis数据库的分布式存储架构，以提升系统性能，利用redis数据库快速、高效和高可用性的特点，能够对能源系统数据提供高效的压缩与查询，同时将热点数据存储进redis数据库中的方式，提高热点数据的查询效率，进而改善系统整体的运行效率实现海量数据的高效查询。

42、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。