一种分布式存储集群电网数据存储控制方法与流程

1.本发明涉及电网数据存储控制技术领域，具体涉及一种分布式存储集群电网数据存储控制方法。


背景技术：

2.随着电网技术的发展，智能电网成为电力系统变革和发展的一个重要方向，智能电网要求实现对系统状态的实时监视和分析，以保证对故障的预测和对故障信号的及时响应，极大的提高了电力设备在利用方面的效率，从而保证电网的运行的可靠性、安全性和稳定性，往往需要存储各种各样的电网数据。
3.但是，随着计算机技术的发展，现有的单节点存储已经不能满足系统容灾抗毁需求，为了保证数据的持续可用性及其安全性，通常需要在异地保存数据的多个副本，异地数据保存需要跨区域的数据传输，本地服务器按既定周期向异地服务器传输数据，异地服务器接收到数据后，将覆盖原有存储数据，因此，若数据量非常大时，跨区域数据同步就无法做到实时，并且同步过程中也会出现错误导致数据丢失等情况。导致数据写入的性能很低，从而影响智能电网整体的正常运行。


技术实现要素：

4.现有的单节点存储已经不能满足系统容灾抗毁需求，为了保证数据的持续可用性及其安全性，通常需要在异地保存数据的多个副本，异地数据保存需要跨区域的数据传输，本地服务器按既定周期向异地服务器传输数据，异地服务器接收到数据后，将覆盖原有存储数据，因此，若数据量非常大时，跨区域数据同步就无法做到实时，并且同步过程中也会出现错误导致数据丢失等情况。导致数据写入的性能很低，从而影响智能电网整体的正常运行的问题，本发明提供一种分布式存储集群电网数据存储控制方法。
5.本发明的技术方案是：本发明技术方案提供一种分布式存储集群电网数据存储控制方法，应用于分布式存储集群，分布式存储集群包括分布在各个站点的终端服务器以及设置于同一局域网的管理节点、对象存储网关和若干存储节点，每个终端服务器与局域网内的存储节点通信连接；所述方法包括如下步骤：终端服务器发送数据存储请求到局域网；第一个接收到存储请求的存储节点，判断是否为同步存储；若否，查询发送存储请求的终端服务器的状态存储器内的默认的存储路径；当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；若是，将电网数据写入第一个收到请求的存储节点，返回写入状态到管理节点；根据接收到的写入状态判断写入完成时，管理节点读取存储节点新写入的电网数据并将读取的电网数据同步到集群内的其他存储节点。
6.每个站点采集的数据类型可能不同，也就是每个终端服务器需要备份的数据作用不同，有些只需要单节点备份即可，有些数据访问的多为了提高访问速度，需要将数据共享，终端服务器发送数据存储请求时，请求信息中带有备份类型的字段，数据备份时根据请求类型判断备份类型是默认的存储路径备份还是数据同步也就是共享，根据请求中的备份类型进行数据的备份，提高存储效率。
7.进一步的，第一个接收到存储请求的存储节点，判断是否为同步存储的步骤包括：第一个接收到存储请求的存储节点将所述存储请求标记为已接收发送到局域网内的其他存储节点；其他存储节点接收到标记为已接收的存储请求后，将接收到的相同的存储请求丢弃；第一个接收到存储请求的存储节点，对接收到的存储请求进行解析；根据解析结果判断是否为同步存储。
8.由于集群内的存储节点的地位是相同的，终端服务器发送存储数据的请求时，集群中的每个存储节点均能接收到该请求，设定集群中第一个接收到请求的存储节点的请求为有效的请求，后续其他存储节点接收到时，为无效请求，不进行请求处理。
9.进一步的，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点的步骤包括：判断默认的存储路径是否是第一个接收存储请求的存储节点；若是，直接将电网数据写入存储节点，同时返回写入信息到管理节点；若否，判断集群中默认的存储路径对应的存储节点是否在线，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；进一步的，查询数据存储请求的终端服务器的状态存储器内的默认的存储路径的步骤之后还包括：当不存在默认的存储路径时，获取集群中可用带宽最大的前n个存储节点；在获取的n个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；将最优存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作，同时将最优存储路径作为默认的存储路径存储到所述终端服务器的状态存储器。
10.进一步的，在获取的n个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点的步骤之前包括：获取所述的n个存储节点速率；根据设定的权值，将可用带宽与速率计算加权值；将计算得到的加权值进行排序，其中，加权值最大的存储节点为性能最高的存储节点。
11.进一步的，判断集群中默认的存储路径对应的存储节点是否在线的步骤还包括：当集群中默认的存储路径对应的存储节点不在线时，获取终端服务器默认的存储路径的挂载策略；当终端服务器默认的存储路径被指定挂载策略时，按照指定的挂载策略将存储节点挂载到集群并设置挂载的存储节点在线；
将存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作。
12.进一步的，获取终端服务器默认的存储路径的挂载策略的步骤之后还包括：当终端服务器默认的存储路径未被指定挂载策略时，执行步骤：获取集群中可用带宽最大的前n个存储节点；获取集群中可用带宽最大的前n个存储节点；在获取的n个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；将最优存储路径与未被指定挂载策略默认的存储路径建立关联；将最优存储路径最为默认的存储路径并做标记存储到所述终端服务器的状态存储器。
13.进一步的，每个存储节点至少包括第一存储盘和第二存储盘，第一存储盘和第二存储盘分别包括执行区和用于存储历史数据的数据区，将电网数据写入存储节点的步骤包括：将第一存储盘的执行区标记为写数据池，将第二存储盘的数据区标记为读数据池；将接收到的电网数据写入第一存储盘，写入完成后，将第二存储盘的执行区标记为写数据池同时取消第二存储盘数据区的标记；读取第一存储盘最新写入的电网数据并将读取的电网数据同步到第二存储盘。
14.对于每个存储节点，存储硬盘的写标签允许数据的写入或读取，读标签仅允许数据的读取，当存储节点写入数据时，将其中一个存储硬盘标记为读，以使存储节点能够在进行电网数据写入的同时对已经存储的历史数据进行读取。可以最大化存储节点的读写性能。
15.进一步的，每个数据区和执行区均包括存储数据库、第一类型数据库和第二类型数据库；电网数据写入时，将电网数据写入存储数据库；获取存储数据库中写入的电网数据中的第一类型的信息写入第一类型数据库；获取存储数据库中写入的电网数据中的第二类型的信息写入第二类型数据库；其中，第一类型的信息为告警信息，第二类型的信息为电压和/或电流信息。实现数据分类存储备份，提高系统的可用性。
16.进一步的，该方法还包括：定时监控存储节点空闲存储容量，当空闲存储容量小于设定第一阈值时，获取时间戳最早的第二阈值容量的电网数据；将获取的第二阈值容量的电网数据中的同步存储的电网数据取出，并发送清除指令到管理节点；管理节点接收到清除指令后，判断取出的同步存储的电网数据是否为热点数据；管理节点将取出的同步存储的电网数据中的非热点数据清除；若空闲存储容量小于设定第一阈值，将获取的第二阈值容量的电网数据中默认的存储路径备份的电网数据中非热点数据删除。
17.从以上技术方案可以看出，本发明具有以下优点：终端服务器发送数据存储请求时，请求信息中带有备份类型的字段，数据备份时根据请求类型判断备份类型是默认的存储路径备份还是数据同步也就是共享，根据请求中的备份类型进行数据的备份，提高存储
效率。还能够实现对电网数据的分类备份，保持数据的一致性，将数据写入时不影响历史数据的访问。提高读写性能。
18.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
19.由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明一个实施例的方法的示意性流程图。
22.图2是本发明实施例中当默认的存储路径对应的存储节点在线时将电网数据的写入存储节点的示意性流程图。
23.图3是本发明实施例中判断集群中默认的存储路径对应的存储节点是否在线的示意性流程图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.如图1所示，本发明实施例提供一种分布式存储集群电网数据存储控制方法，应用于分布式存储集群，分布式存储集群包括分布在各个站点的终端服务器以及设置于同一局域网的管理节点、对象存储网关和若干存储节点，每个终端服务器与局域网内的存储节点通信连接；所述方法包括如下步骤：步骤1：终端服务器发送数据存储请求到局域网；步骤2：第一个接收到存储请求的存储节点，判断是否为同步存储；若否，执行步骤3，若是，执行步骤5；步骤3：查询发送存储请求的终端服务器的状态存储器内的默认的存储路径；步骤4：当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；步骤5：将电网数据写入第一个收到请求的存储节点，返回写入状态到管理节点；步骤6：根据接收到的写入状态判断写入完成时，管理节点读取存储节点新写入的电网数据并将读取的电网数据同步到集群内的其他存储节点。
26.每个站点采集的数据类型可能不同，也就是每个终端服务器需要备份的数据作用不同，有些只需要单节点备份即可，有些数据访问的多为了提高访问速度，需要将数据共享，终端服务器发送数据存储请求时，请求信息中带有备份类型的字段，数据备份时根据请求类型判断备份类型是默认的存储路径备份还是数据同步也就是共享，根据请求中的备份
类型进行数据的备份，提高存储效率。
27.另外设置在同一局域网的存储节点，每个存储节点有自己唯一的id, 默认的存储路径中有存储节点的id。
28.在有些实施例中，步骤2中，第一个接收到存储请求的存储节点，判断是否为同步存储的步骤包括：步骤21：第一个接收到存储请求的存储节点将所述存储请求标记为已接收发送到局域网内的其他存储节点；其他存储节点接收到标记为已接收的存储请求后，将接收到的相同的存储请求丢弃；步骤22：第一个接收到存储请求的存储节点，对接收到的存储请求进行解析；步骤23：根据解析结果判断是否为同步存储。
29.由于集群内的存储节点的地位是相同的，终端服务器发送存储数据的请求时，集群中的每个存储节点均能接收到该请求，设定集群中第一个接收到请求的存储节点的请求为有效的请求，后续其他存储节点接收到时，为无效请求，不进行请求处理。
30.如图2所示，在有些实施例中，步骤4中，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点的步骤包括：步骤41：判断默认的存储路径是否是第一个接收存储请求的存储节点；若是，执行步骤42，若否，执行步骤43；步骤42：直接将电网数据写入存储节点，同时返回写入信息到管理节点；步骤43：判断集群中默认的存储路径对应的存储节点是否在线；步骤44：当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；管理节点起到控制数据写入的作用，当不经过管理节点写入数据时，写入完成需要返回写入信息到管理节点进行相关写入操作的记录。
31.在有些实施例中，步骤3查询数据存储请求的终端服务器的状态存储器内的默认的存储路径的步骤之后还包括：s31：当不存在默认的存储路径时，获取集群中可用带宽最大的前n个存储节点；s32：在所述的n个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；s33：将最优存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作，同时将最优存储路径作为默认的存储路径存储到所述终端服务器的状态存储器。
32.需要说明的是，在步骤s32在所述的n个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点的步骤之前包括：s31-1：获取所述的n个存储节点速率；s31-2：根据设定的权值，将可用带宽与速率计算加权值；s31-3：将计算得到的加权值进行排序，其中，加权值最大的存储节点为性能最高的存储节点。
33.如图3所示，在有些实施例中，步骤43中，判断集群中默认的存储路径对应的存储节点是否在线的步骤还包括：s431：当集群中默认的存储路径对应的存储节点不在线时，获取终端服务器默认
的存储路径的挂载策略；s432：终端服务器默认的存储路径是否被指定挂载策略；若是，执行步骤s433；若否，执行步骤s435；s433：按照指定的挂载策略将存储节点挂载到集群并设置挂载的存储节点在线；s434：将存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作；s435：获取集群中可用带宽最大的前n个存储节点；s436：获取集群中可用带宽最大的前n个存储节点；在所述的n个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；s437：将最优存储路径与未被指定挂载策略默认的存储路径建立关联；s438：将最优存储路径最为默认的存储路径并做标记存储到所述终端服务器的状态存储器。
34.由于集群中的存储节点是动态可调的，当某个存储节点故障时，该故障存储节点在集群中不在线，这样终端服务器默认的存储路径为该故障存储节点时，就会存在集群中默认的存储路径对应的存储节点不在线的情况。根据默认的存储路径的挂载策略挂载存储节点到集群，当不存在挂载策略时，需要在集群中在线的存储节点中选择最优存储路径的存储节点，进行数据的存储备份。
35.在有些实施例中，每个存储节点至少包括第一存储盘和第二存储盘，第一存储盘和第二存储盘分别包括执行区和用于存储历史数据的数据区，将电网数据写入存储节点的步骤包括：步骤a：将第一存储盘的执行区标记为写数据池，将第二存储盘的数据区标记为读数据池；步骤b：将接收到的电网数据写入第一存储盘，写入完成后，将第二存储盘的执行区标记为写数据池同时取消第二存储盘数据区的标记；步骤c：读取第一存储盘最新写入的电网数据并将读取的电网数据同步到第二存储盘。
36.对于每个存储节点，存储硬盘的写标签允许数据的写入或读取，读标签仅允许数据的读取，当存储节点写入数据时，将其中一个存储硬盘标记为读，以使存储节点能够在进行电网数据写入的同时对已经存储的历史数据进行读取。可以最大化存储节点的读写性能。
37.在有些实施例中，每个数据区和执行区均包括存储数据库、第一类型数据库和第二类型数据库；s1a：电网数据写入时，将电网数据写入存储数据库；s2a：获取存储数据库中写入的电网数据中的第一类型的信息写入第一类型数据库；s3a：获取存储数据库中写入的电网数据中的第二类型的信息写入第二类型数据库；其中，第一类型的信息为告警信息，第二类型的信息为电压和/或电流信息。实现数据分类存储备份，提高系统的可用性。
38.在有些实施例中，该方法还包括对集群中的存储节点进行监控的步骤，具体包括：步骤（1）：定时监控存储节点空闲存储容量，当空闲存储容量小于设定第一阈值
时，获取时间戳最早的第二阈值容量的电网数据；步骤（2）：将获取的第二阈值容量的电网数据中的同步存储的电网数据取出，并发送清除指令到管理节点；步骤（3）：管理节点接收到清除指令后，判断取出的同步存储的电网数据是否为热点数据；步骤（4）：管理节点将取出的同步存储的电网数据中的非热点数据清除；步骤（5）：若空闲存储容量小于设定第一阈值，将获取的第二阈值容量的电网数据中默认的存储路径备份的电网数据中非热点数据删除。保证集群中在线的存储节点可用，有足够的存储空间实现电网数据的默认的存储路径备份或共享。
39.尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。