基于双层Raft一致性协议的云边协同分布式存储方法和装置

本公开涉及大数据处理，尤其涉及基于双层raft一致性协议的云边协同分布式存储方法和装置。

背景技术：

1、在大数据环境下，元数据的体量也非常大，元数据的存取性能是整个分布式文件系统性能的关键。常见的元数据管理可以分为集中式和分布式元数据管理架构。集中式元数据管理架构采用单一的元数据服务器，实现简单．但是存在单点故障等问题。分布式元数据管理架构则将元数据分散在多个结点上．进而解决了元数据服务器的性能瓶颈等问题．并提高了元数据管理架构的可扩展性，但实现较为复杂，并引入了元数据一致性的问题。另外，还有一种无元数据服务器的分布式架构，通过在线算法组织数据，不需要专用的元数据服务器。但是该架构对数据一致性的保障很困难．实现较为复杂。文件目录遍历操作效率低下，并且缺乏文件系统全局监控管理功能。

2、分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

3、那么，在确保网络节点可以灵活扩展的同时，如何进一步提高检索效率，是亟需解决的一个问题。

技术实现思路

1、本公开提供了一种基于双层raft一致性协议的云边协同分布式存储方法和装置。

2、根据本公开的第一方面，提供了一种基于双层raft一致性协议的云边协同分布式存储方法，应用于云端服务器。该方法包括：接收用户端发送的数据查询请求；所述数据查询请求包括目标信息；

3、根据所述目标信息从预设哈希环中确定目标边缘集群信息；；其中，所述预设哈希环通过以下步骤生成：对边缘端服务器的网络地址进行哈希计算，得到对应的哈希值，将所述哈希值按顺时针方向进行映射存储，形成初始哈希环，根据预设步长将所述初始哈希环进行分段，将所述初始哈希环划分为多个环段，对每个环段中的边缘集群信息的密度进行检测，响应于环段中的边缘集群信息的密度大于预设阈值，将对应环段中的预设数量的边缘集群信息存储在后续环段中的对应位置处，并生成对应的映射关系；

4、将所述目标边缘集群信息返回给所述用户端，以令用户端从对应的边缘集群获取需要查询的数据。

5、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述云端服务器基于raft一致性协议部署有元信息存储集群；

6、所述元信息存储集群存储多个边缘集群信息。

7、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述云端服务器对应有边缘端服务器；

8、所述边缘端服务器基于raft一致性协议部署有数据存储集群；

9、所述数据存储集群存储多个数据。

10、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对每个环段中的边缘集群信息的密度进行检测，响应于环段中的边缘集群信息的密度大于预设阈值，将对应环段中的预设数量的边缘集群信息存储在后续环段中的对应位置处，包括：

11、对每个环段中的边缘集群信息的密度进行检测，判断当前环段中是否存在边缘集群信息数量大于预设阈值的节点，响应于当前环段中存在边缘集群信息数量大于预设阈值的节点，将该节点中的一半的边缘集群信息存储在后续环段中与当前节点位置对应的节点中。

12、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述目标边缘集群信息包括目标边缘端服务器的网络地址；

13、所述根据所述目标信息从预设哈希环中确定目标边缘集群信息，包括：

14、对所述目标信息进行哈希计算，得到目标值；

15、根据所述目标值在哈希环中寻找一致的哈希值；

16、根据寻找到的哈希值，确定对应的边缘端服务器的网络地址；

17、将所述边缘端服务器的网络地址作为目标边缘集群信息。

18、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：

19、根据边缘集群的状态，对元信息存储集群进行更新。

20、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述边缘集群的状态包括：注册或上线，以及离线；

21、所述根据边缘集群的状态，对元信息存储集群进行更新，包括：

22、当有新的边缘集群注册或上线时，

23、根据注册或上线时上传的边缘集群对应的边缘端服务器的网络地址，将所述新的边缘集群加入哈希环中；

24、当有边缘集群离线时，

25、根据离线的边缘集群对应的边缘端服务器的网络地址，将离线的边缘集群从哈希环中删除。

26、根据本公开的第二方面，提供了一种基于双层raft一致性协议的云边协同分布式存储装置，应用于云端服务器。该装置包括：

27、请求接收模块，用于接收用户端发送的数据查询请求；所述数据查询请求包括目标信息；

28、信息查找模块，用于根据所述目标信息从预设哈希环中确定目标边缘集群信息；其中，所述预设哈希环通过以下步骤生成：对边缘端服务器的网络地址进行哈希计算，得到对应的哈希值，将所述哈希值按顺时针方向进行映射存储，形成初始哈希环，根据预设步长将所述初始哈希环进行分段，将所述初始哈希环划分为多个环段，对每个环段中的边缘集群信息的密度进行检测，响应于环段中的边缘集群信息的密度大于预设阈值，将对应环段中的预设数量的边缘集群信息存储在后续环段中的对应位置处，并生成对应的映射关系；

29、信息返回模块，用于将所述目标边缘集群信息返回给所述用户端，以令用户端从对应的边缘集群获取需要查询的数据。

30、根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

31、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面所述的方法。

32、本公开的实施例提供的基于双层raft一致性协议的云边协同分布式存储方法和装置，通过在云端部署基于raft一致性协议的元信息存储集群，使用哈希环来存储每个边缘端存储集群的信息，以及在边缘端部署基于raft一致性协议的数据存储集群，专门负责实际数据的存储，以此可以实现对于接收到的客户查询数据的请求，能够实现快速检索且短时间内响应客户需求，提升用户体验感；此外，由于云、边端均基于raft一致性协议进行部署，能够提升网络节点在整个存储系统中扩展的灵活性。

33、应当理解，技术实现要素：部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

技术特征：

1.一种基于双层raft一致性协议的云边协同分布式存储方法，应用于云端服务器，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求2所述的方法，其特征在于，所述对每个环段中的边缘集群信息的密度进行检测，响应于环段中的边缘集群信息的密度大于预设阈值，将对应环段中的预设数量的边缘集群信息存储在后续环段中的对应位置处，包括：

5.根据权利要求4所述的方法，其特征在于，

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，

8.一种基于双层raft一致性协议的云边协同分布式存储装置，应用于云端服务器，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一权利要求所述的方法。

技术总结本公开的实施例提供了基于双层Raft一致性协议的云边协同分布式存储方法和装置，应用于大数据处理技术领域。所述方法包括接收用户端发送的数据查询请求；所述数据查询请求包括目标信息；根据所述目标信息从预设哈希环中确定目标边缘集群信息；将所述目标边缘集群信息返回给所述用户端，以令用户端从对应的边缘集群获取需要查询的数据。以此方式，可以在确保网络节点可以灵活扩展的同时，进一步提高数据检索效率。技术研发人员：黄静,章涵博,郭协恒受保护的技术使用者：浙江理工大学技术研发日：技术公布日：2024/9/9