一种分布式大规模并行处理数据库负载均衡管理系统的制作方法

本发明涉及数据处理，特别涉及一种分布式大规模并行处理数据库负载均衡管理系统。

背景技术：

1、目前，分布式大规模并行处理数据库的连接管理办法主要有两种方案：

2、连接字符串：将所有节点的ip和端口信息列举出来，随机选择其中一个服务节点连接，若节点连接失败（节点异常或宕机），则重新选择服务节点。这种方案实现过程简单，但节点筛选策略固定，仅支持随机选择，部件无法保证连接均匀分配，容易发生负载倾斜，且无法保证每次选择的连接节点都是满足对应节点连接请求的需求（例如节点的响应速度、节点连接数、数据处理性能等方面的需求）的最优选择。

3、sql代理：客户端的查询请求以及服务端的结果返回都统一经过sql代理服务器转发，sql代理可以监控转发请求，评估各服务节点负载情况，实现负载均衡。但是，请求转发意味着需要额外的网络io开销，一定程度上增加了网络资源成本。其次，代理只能监控经其转发的请求，无法监控其他请求，所以其负载统计与实际情况会存在偏差，导致负载评估不够精准。最后，代理一般为单一节点系统，若代理服务器异常或宕机（单点故障），则会导致服务丢失。

4、综上，需要研究出一种应用于分布式大规模并行处理数据库的灵活可靠的负载均衡管理系统，精准监控集群的实时负载情况，做出动态调整，实现分布式大规模并行处理数据库的负载均衡，提高集群性能。

5、因此，本发明提出一种分布式大规模并行处理数据库负载均衡管理系统。

技术实现思路

1、本发明提供一种分布式大规模并行处理数据库负载均衡管理系统，用以利用分布式协同服务平台实现对节点集群中的节点负载信息的准确监控，考虑到节点连接请求对每个侧重特征维度的需求以及节点集群中的负载均衡两方面，合理确定出当前需求连接的最优节点，即针对分布式大规模并行处理数据库提供了灵活可靠的节点连接管理，实现负载均衡；并通过考虑到节点连接请求对每个侧重特征维度的需求来筛选连接节点，提高了集群性能，且无需额外的网络io，节省了网络资源成本，且不存在单一节点系统转发处理节点连接请求，减少了负载均衡管理系统的服务丢失概率。

2、本发明提供一种分布式大规模并行处理数据库负载均衡管理系统，包括：

3、节点部署模块，用于将分布式大规模并行处理数据库当作服务节点，并将服务节点和对应的节点集群中的所有节点部署至分布式协同服务平台；

4、第一次筛选模块，用于当接收到来自服务节点的节点连接请求时，则基于分布式协同服务平台中的节点集群中每个节点的最新负载信息，在节点集群中筛选出服务节点的所有可连接节点；

5、第二次筛选模块，用于基于节点连接请求对每个侧重特征维度的需求度和/或每个可连接节点对每个侧重特征维度的符合度，在节点集群中筛选出最优节点；

6、连接请求响应模块，用于基于最优节点获得服务节点的节点连接请求响应。

7、优选的，节点部署模块，包括：

8、节点注册子模块，用于将分布式大规模并行处理数据库当作服务节点，并将服务节点和对应的节点集群中的所有节点注册至分布式协同服务平台；

9、信息更新子模块，用于实时统计服务节点的节点信息与节点集群中所有节点的节点信息，并将服务节点的节点信息与节点集群中所有节点的节点信息定时更新至分布式协同服务平台。

10、优选的，第一次筛选模块，包括：

11、最新节点信息获取子模块，用于当接收到来自服务节点的节点连接请求时，则从分布式协同服务平台中获取节点集群中每个节点的最新负载信息；

12、节点连接数确定子模块，用于基于每个节点的最新负载信息，确定出节点集群中每个节点的节点连接数；

13、可连接节点筛选子模块，用于将节点集群中，节点连接数不超出节点集群中所有节点的节点连接数的平均值的所有节点，当作服务节点的所有可连接节点。

14、优选的，第二次筛选模块，包括：

15、第一需求度分析子模块，用于确定出节点连接请求对每个侧重特征维度的需求度；

16、符合度分析子模块，用于调取每个可连接节点对每个侧重特征维度的符合度；

17、第一优先度评估子模块，用于基于每个可连接节点对每个侧重特征维度的符合度和节点连接请求对每个侧重特征维度的需求度，评估出每个可连接节点的需求方面优选度；

18、第二优先度评估子模块，用于基于所有可连接节点的最新负载信息评估出每个可连接节点的负载均衡方面优选度；

19、第一节点筛选子模块，用于将每个可连接节点的需求方面优选度和负载方面优先度之和当作每个可连接节点的优选度，并将节点集群中最大优选度对应的可连接节点当作最优节点。

20、优选的，第一需求度分析子模块，包括：

21、需求度贡献值确定单元，用于确定出节点连接请求具有的针对每个侧重特征维度的所有表现特征项的表现特征信息，基于每项表现特征信息检索对应侧重特征维度的对应表现特征项的表现特征信息-需求度贡献值表，获得每项表现特征信息的需求度贡献值；

22、需求度确定单元，用于将节点连接请求具有的针对每个侧重特征维度的所有表现特征项的表现特征信息的需求度贡献值之和，当作节点连接请求对每个侧重特征维度的需求度。

23、优选的，第一优先度评估子模块，包括：

24、子优选度确定单元，用于将每个可连接节点对每个侧重特征维度的符合度和节点连接请求对对应侧重特征维度的需求度之积，当作每个可连接节点在每个侧重特征维度方面的子优选度；

25、需求方面优选度确定单元，用于将每个可连接节点在所有特征维度方面的子优选度之和，当作每个可连接节点的需求方面优选度。

26、优选的，第二优先度评估子模块，包括：

27、节点连接数确定单元，用于基于每个可连接节点的最新负载信息确定出每个可连接节点的节点连接数；

28、排序序数确定单元，用于按照节点连接数从小到大，对所有可连接节点进行排序获得每个可连接节点的排序序数；

29、负载均衡方面优选度确定单元，用于将每个可连接节点的排序序数和所有可连接节点总数之商，当作每个可连接节点的负载均衡方面优选度。

30、优选的，第二次筛选模块，包括：

31、第二需求度分析子模块，用于确定出节点连接请求对每个侧重特征维度的需求度；

32、侧重平衡度确定子模块，用于基于节点连接请求对每个侧重特征维度的需求度，确定出节点连接请求在所有侧重特征维度的侧重平衡度；

33、节点筛选策略确定子模块，用于基于节点连接请求在所有侧重特征维度的侧重平衡度，确定出当前连接节点筛选策略；

34、第二节点筛选子模块，用于基于节点筛选策略在节点集群中筛选出最优节点。

35、优选的，侧重平衡度确定子模块，包括：

36、平均需求度确定单元，用于确定出节点连接需求对所有侧重特征维度的需求度的均值，当作平均需求度；

37、侧重失衡度确定单元，用于将节点连接请求对每个侧重特征维度的需求度与平均需求度的差值绝对值与平均需求度之商，当作节点连接请求对每个侧重特征维度的侧重失衡度；

38、侧重平衡度确定单元，用于将1与节点连接请求对所有侧重特征维度的侧重失衡度之和之差，当作节点连接请求在所有侧重特征维度的侧重平衡度。

39、优选的，节点筛选策略确定子模块，包括：

40、第一策略确定单元，用于当节点连接请求在所有侧重特征维度的侧重平衡度近似相等时，则将随机策略当作当前连接节点筛选策略；

41、第二策略确定单元，用于当节点连接请求在侧重特征维度的侧重平衡度不近似相等时，则将服务节点在所有侧重特征维度的侧重平衡度中的最大侧重平衡度对应的节点筛选策略，当作当前连接节点筛选策略。

42、本发明相对于现有技术产生的有益效果为：利用分布式协同服务平台实现对节点集群中的节点负载信息的准确监控，考虑到节点连接请求对每个侧重特征维度的需求以及节点集群中的负载均衡两方面，合理确定出当前需求连接的最优节点，即针对分布式大规模并行处理数据库提供了灵活可靠的节点连接管理，实现负载均衡；并通过考虑到节点连接请求对每个侧重特征维度的需求来筛选连接节点，提高了集群性能，且无需额外的网络io，节省了网络资源成本，且不存在单一节点系统转发处理节点连接请求，减少了负载均衡管理系统的服务丢失概率。

43、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本技术文件中所特别指出的结构来实现和获得。

44、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。