一种负载均衡的分布式存储控制方法及系统与流程

本发明属于分布式存储，特别涉及一种负载均衡的分布式存储控制方法及系统。

背景技术：

1、在分布式系统中，数据的存储和访问是很重要的问题。为了提高系统的可用性和扩展性，常常需要将数据分布到不同的服务器上，而且这些服务器也可能会动态地加入或离开集群。

2、现有的分布式系统大多仅采用哈希环的方式，将数据分布在多个存储服务器上。但是这种方式仅考虑了系统中各存储服务器的空余存储空间，未考虑各存储节点的运行状态。例如，系统选择的存储服务器与上传服务器距离较远时，可能需要中转多个服务器节点。此时的数据上传速度受各中转服务器和存储服务器的实时运行状态影响，导致数据上传迟缓，影响系统整体运行效率。

3、另外，现有的分布式系统多基于存储服务器数量进行哈希环取模计算，以确定各存储服务器在哈希环中的位置。当存储服务器数量发生变化时，例如添加或删除存储服务器时，会出现缓存的雪崩，从而容易导致系统崩溃。

技术实现思路

1、针对上述问题，本发明提供了一种负载均衡的分布式存储控制方法，所述控制方法包括：

2、获取并对存储数据信息进行转码处理，得到数据特征码；

3、对数据特征码进行哈希计算，得到初始位置信息；

4、基于初始位置信息，获取同一区域集群中的多个待定服务器的运行参数；

5、对各待定服务器的运行参数进行权重计算，得到权重结果；

6、基于权重结果确定目标服务器，并将存储数据存储至目标服务器。

7、进一步的，所述控制方法还包括：

8、获取并对服务器信息进行转码处理，得到服务器特征码；

9、基于固定值对各服务器特征码进行哈希计算，确定各服务器的位置信息。

10、进一步的，所述转码计算可采用静态哈希函数；

11、所述固定值为正整数，且大于分布式存储系统中服务器数量；

12、所述服务器信息可采用服务器ip地址或主机名称；

13、所述哈希计算可采用除取余算法公式；

14、所述存储数据信息可采用数据名称或数据编号。

15、进一步的，所述控制方法还包括：按现实地域将所有服务器划分为若干个区域集群。

16、进一步的，所述权重计算包括：

17、获取待定服务器各运行参数的相对指标权重；

18、根据相对指标权重计算各运行参数的实际权重比例；

19、基于实际权重比例和运行参数，计算得到各待定服务器的权重结果。

20、进一步的，所述服务器的运行参数包括服务器的现实地址、带宽、时延和丢包率中的一个或多个。

21、本发明还提供了一种负载均衡的分布式存储控制系统，所述控制系统包括：

22、转码模块，用于获取并对存储数据信息进行转码处理，得到数据特征码；

23、哈希模块，用于对数据特征码进行哈希计算，得到初始位置信息；基于初始位置信息，获取同一区域集群中的多个待定服务器的运行参数；

24、权重计算模块，用于对各待定服务器的运行参数进行权重计算，得到权重结果；

25、中心模块，用于基于权重结果确定目标服务器，并将存储数据存储至目标服务器。

26、进一步的，所述转码模块还用于获取并对服务器信息进行转码处理，得到服务器特征码；

27、所述哈希模块还用于基于固定值对各服务器特征码进行哈希计算，确定各服务器的位置信息。

28、进一步的，所述控制系统还包括：集群模块，用于按现实地域将所有服务器划分为若干个区域集群。

29、进一步的，所述权重计算模块包括：

30、获取单元，用于获取待定服务器各运行参数的相对指标权重；

31、权重比例计算单元，用于根据相对指标权重计算各运行参数的实际权重比例；

32、权重结果单元，用于根据实际权重比例和运行参数，计算得到各待定服务器的权重结果。

33、本发明的有益效果是：

34、1、本发明提供的控制方法和系统可以解决分布式存储系统中各服务器节点的动态变化和负载均衡的问题。提高分布式系统的可扩展性和可靠性，减少系统崩溃等问题的风险，从而更好地满足大规模应用所需的高吞吐量和低延迟要求。

35、2、本发明通过对固定值进行哈希计算，可以避免当存储服务器数量发生变化时，出现缓存的雪崩的情况发生。而且服务器的ip地址为32位，将固定值设置为2^32，可以保证分布式存储系统中的每个服务器的ip地址有唯一映射，进一步确保了系统的稳定性。

36、3、本发明先通过哈希算法初步确定符合存储条件的服务器在哈希环中的位置，再结合现实地址找到符合存储条件且与上传存储数据的服务器现实距离最近的服务器作为待定服务器，大大缩短了分布式存储系统的数据传输距离，优化了数据的上下行传输效率。

37、4、本发明通过分析各待定服务器的运行参数，确定各待定服务器的当前运行状态。保证最终选择的目标服务器同时满足符合存储条件、与上传存储数据的服务器现实距离接近和服务器运行状态最佳等条件，进一步优化了数据的上下行传输效率。

38、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。

技术特征：

1.一种负载均衡的分布式存储控制方法，其特征在于，所述控制方法包括：

2.根据权利要求1所述的一种负载均衡的分布式存储控制方法，其特征在于，所述控制方法还包括：

3.根据权利要求2所述的一种负载均衡的分布式存储控制方法，其特征在于，所述转码计算可采用静态哈希函数；

4.根据权利要求1所述的一种负载均衡的分布式存储控制方法，其特征在于，所述控制方法还包括：按现实地域将所有服务器划分为若干个区域集群。

5.根据权利要求1所述的一种负载均衡的分布式存储控制方法，其特征在于，所述权重计算包括：

6.根据权利要求5所述的一种负载均衡的分布式存储控制方法，其特征在于，所述服务器的运行参数包括服务器的现实地址、带宽、时延和丢包率中的一个或多个。

7.一种负载均衡的分布式存储控制系统，其特征在于，所述控制系统包括：

8.根据权利要求7所述的一种负载均衡的分布式存储控制系统，其特征在于，所述转码模块还用于获取并对服务器信息进行转码处理，得到服务器特征码；

9.根据权利要求7所述的一种负载均衡的分布式存储控制系统，其特征在于，所述控制系统还包括：集群模块，用于按现实地域将所有服务器划分为若干个区域集群。

10.根据权利要求7所述的一种负载均衡的分布式存储控制系统，其特征在于，所述权重计算模块包括：

技术总结本发明涉及分布式存储技术领域，特别涉及一种负载均衡的分布式存储控制方法及系统。所述控制方法包括：获取并对存储数据信息进行转码处理，得到数据特征码；对数据特征码进行哈希计算，得到初始位置信息；基于初始位置信息，获取同一区域集群中的多个待定服务器的运行参数；对各待定服务器的运行参数进行权重计算，得到权重结果；基于权重结果确定目标服务器，并将存储数据存储至目标服务器。本发明提供的控制方法和系统可以解决分布式存储系统中各服务器节点的动态变化和负载均衡的问题。提高分布式系统的可扩展性和可靠性，减少系统崩溃等问题的风险，从而更好地满足大规模应用所需的高吞吐量和低延迟要求。技术研发人员：赵洁受保护的技术使用者：银河系空间云储信息技术（深圳）有限公司技术研发日：技术公布日：2024/9/9