基于数据中心负荷均衡的信息处理方法及系统与流程

本技术涉及计算机，具体而言，涉及一种基于数据中心负荷均衡的信息处理方法及系统。

背景技术：

1、随着云计算技术的飞速发展，数据中心作为支撑云计算服务的重要基础设施，其性能和效率越来越受到关注。在数据中心中，服务器集群负责处理各种计算任务，而负载均衡则是确保这些任务能够均匀、高效地分配到各个服务器上的关键技术。

2、然而，传统的负载均衡方法往往基于简单的轮询、随机或者基于权重的分配策略，这些方法虽然简单易行，但未能充分考虑服务器集群的实时性能、任务特性以及集群间的相关性等因素，这导致在某些情况下，任务可能被分配到不适合的服务器上，从而造成处理延迟、资源浪费甚至服务中断等问题。

3、为了克服这些问题，近年来研究者们开始探索基于机器学习和人工智能技术的负载均衡方法，这些方法通过对服务器集群的性能、任务特性以及历史数据进行学习，以期望能够更精准地进行任务分配。然而，现有的方法在处理复杂的数据中心环境和多变的任务需求时仍存在一定的局限性，例如无法充分考虑服务器集群间的相关性、对实时数据的处理能力不足等。

技术实现思路

1、鉴于上述提及的问题，结合本技术的第一方面，本技术实施例提供一种基于数据中心负荷均衡的信息处理方法，所述方法包括：

2、获取数据中心中的参考服务器集群序列，所述参考服务器集群序列中包括k个参考服务器集群；

3、基于所述参考服务器集群序列生成集群特征知识信息序列，所述集群特征知识信息序列中包括k个集群特征知识信息，每个集群特征知识信息对应一个参考服务器集群；

4、依据数据中心模型获取所述集群特征知识信息序列所对应的优化特征知识信息序列，所述优化特征知识信息序列中包括k个优化特征知识信息，每个优化特征知识信息对应于一个集群特征知识信息，所述数据中心模型用于构建各个集群特征知识信息之间的相关性；

5、获取待分配任务所对应的任务需求特征序列，所述待分配任务包括m个处理需求，所述任务需求特征序列包括m个任务需求特征，每个处理需求对应于一个任务需求特征；

6、依据负载均衡决策网络获取所述任务需求特征序列与所述每个优化特征知识信息的关联度，所述负载均衡决策网络用于确定所述参考服务器集群与所述待分配任务之间的负载均衡决策联系；

7、基于所述任务需求特征序列与所述每个优化特征知识信息的关联度，从所述参考服务器集群序列中确定目标参考服务器集群。

8、在第一方面的一种可能的实施方式中，所述基于所述参考服务器集群序列生成集群特征知识信息序列，包括：

9、依据数据中心特征提取机制获取所述参考服务器集群所对应的集群特征知识信息，所述参考服务器集群的集群数据包括集群状态数据，所述集群状态数据包括所述参考服务器集群在所述数据中心中的资源占用情况、性能指标以及历史任务处理数据；

10、当获取到k个参考服务器集群所对应的集群特征知识信息时，基于所述k个集群特征知识信息生成所述集群特征知识信息序列。

11、在第一方面的一种可能的实施方式中，所述依据数据中心模型获取所述集群特征知识信息序列所对应的优化特征知识信息序列，包括：

12、从所述集群特征知识信息序列中获取第一集群特征知识信息以及第二集群特征知识信息，所述第一集群特征知识信息为所述集群特征知识信息序列中任意一个集群特征知识信息，所述第二集群特征知识信息为所述集群特征知识信息序列中任意一个集群特征知识信息；

13、获取所述第一集群特征知识信息与所述第二集群特征知识信息之间的相关性权重；

14、对所述第一集群特征知识信息与所述第二集群特征知识信息之间的相关性权重进行标准化转换，生成标准化权重；

15、基于所述集群特征知识信息序列中各个集群特征知识信息之间的标准化权重，确定目标相关性阵列；

16、依据所述数据中心模型确定所述目标相关性阵列所对应的所述优化特征知识信息序列。

17、在第一方面的一种可能的实施方式中，所述基于所述集群特征知识信息序列中各个集群特征知识信息之间的标准化权重，确定目标相关性阵列，包括：

18、基于所述集群特征知识信息序列中各个集群特征知识信息之间的标准化权重，生成相关性阵列；

19、基于所述相关性阵列以及基准阵列生成所述目标相关性阵列。

20、在第一方面的一种可能的实施方式中，所述依据所述数据中心模型确定所述目标相关性阵列所对应的所述优化特征知识信息序列，包括：

21、将所述集群特征知识信息序列和所述目标相关性阵列作为输入数据，输入到所述数据中心模型中，通过所述数据中心模型利用目标相关性阵列作为辅助信息，捕捉所述集群特征知识信息序列中元素间的依赖关系和模式后，通过所述数据中心模型的多个隐藏层进行特征提取和转换，生成与输入集群特征知识信息序列相对应的优化特征知识信息序列，所述优化特征知识信息序列捕捉了所述集群特征知识信息序列之间的潜在联系和依赖关系。

22、在第一方面的一种可能的实施方式中，所述获取待分配任务所对应的任务需求特征序列，包括：

23、接收所述待分配任务；

24、基于所述待分配任务获取任务知识分块集合，所述任务知识分块集合包括m个任务知识分块，每个任务知识分块对应于一个处理需求；

25、对所述任务知识分块集合中的每个任务知识分块进行知识映射处理，生成任务需求特征；

26、在获取到m个任务知识分块所对应的任务需求特征时，基于所述m个任务需求特征生成所述任务需求特征序列。

27、在第一方面的一种可能的实施方式中，所述对所述任务知识分块集合中的每个任务知识分块进行知识映射处理，生成任务需求特征，包括：

28、对每个任务知识分块进行解析，识别所述每个任务知识分块中的分块信息，所述分块信息包括任务类型、数据处理量、计算复杂度、内存需求、存储需求、网络带宽需求、延迟要求、并发用户数、数据安全性要求、数据一致性需求、错误恢复能力、硬件兼容性、软件依赖、系统稳定性需求、可伸缩性需求、多语言支持、电源管理需求、用户交互复杂性、数据可视化需求中的至少一种信息；

29、对于每个任务知识分块，根据预先定义的映射规则，将对应的分块信息转换为对应的任务需求特征，并对生成的任务需求特征进行标准化和归一化处理。

30、在第一方面的一种可能的实施方式中，所述方法还包括：

31、获取样例任务序列以及样例参考服务器集群序列，所述样例任务序列包括第一样例任务以及第二样例任务，所述样例参考服务器集群序列包括第一样例参考服务器集群以及第二样例参考服务器集群，所述第一样例任务与所述第一样例参考服务器集群存在负载均衡决策联系，且所述第一样例任务与所述第二样例参考服务器集群不存在负载均衡决策联系，所述第二样例任务与所述第二样例参考服务器集群存在负载均衡决策联系，且所述第二样例任务与所述第一样例参考服务器集群不存在负载均衡决策联系；

32、基于所述第一样例任务、所述第二样例任务、所述第一样例参考服务器集群以及所述第二样例参考服务器集群，确定目标训练误差参数；

33、基于所述目标训练误差参数对样例负载均衡决策网络进行网络参数优化，生成负载均衡决策网络，所述负载均衡决策网络用于基于任务需求特征序列与优化特征知识信息确定参考服务器集群与待分配任务之间的负载均衡决策联系，所述优化特征知识信息与所述参考服务器集群存在决策联系，所述任务需求特征序列与所述待分配任务存在决策联系。

34、在第一方面的一种可能的实施方式中，所述基于所述第一样例任务、所述第二样例任务、所述第一样例参考服务器集群以及所述第二样例参考服务器集群，确定目标训练误差参数，包括：

35、对所述第一样例任务和所述第二样例任务进行特征提取，获得第一样例任务特征集和第二样例任务特征集，并对第一样例参考服务器集群和第二样例参考服务器集群进行特征提取，获得第一样例集群特征集和第二样例集群特征集；

36、根据先验专家知识输入数据，为所述第一样例任务和所述第一样例参考服务器集群的样例配对赋予正标签，所述正标签表示存在负载均衡决策联系，为所述第一样例任务与所述第二样例参考服务器集群的配对赋予负标签，所述负标签表示不存在负载均衡决策联系；

37、以及，为所述第二样例任务和所述第二样例参考服务器集群的样例配对赋予正标签，为所述第二样例任务与所述第一样例参考服务器集群的样例配对赋予负标签；

38、使用所述样例负载均衡决策网络对每组样例配对进行预测，输出每组样例配对之间存在每种负载均衡决策联系的概率；

39、根据每组样例配对之间存在每种负载均衡决策联系的概率与实际的标签数据，计算每组样例配对对应的训练误差参数；

40、汇总所有样例配对对应的训练误差参数，得到所述目标训练误差参数；

41、在第一方面的一种可能的实施方式中，所述根据每组样例配对之间存在每种负载均衡决策联系的概率与实际的标签数据，计算每组样例配对对应的训练误差参数的计算公式如下：

42、loss＝-[y*log(p)+(1-y)*log(1-p)]

43、其中：

44、loss表示训练误差参数；

45、y表示实际的标签数据，取值为0或1，1表示存在负载均衡决策联系，0表示不存在负载均衡决策联系；

46、p表示样例负载均衡决策网络预测的存在负载均衡决策联系的概率。

47、再一方面，本技术实施例还提供一种基于数据中心负荷均衡的信息处理系统，包括处理器、机器可读存储介质，所述机器可读存储介质和所述处理器连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以实现上述的方法。

48、基于以上方面，通过获取数据中心中的参考服务器集群序列，并生成对应的集群特征知识信息序列，再结合数据中心模型构建集群特征之间的相关性，从而获取优化特征知识信息序列，充分考虑了服务器集群的特性和相互之间的关系，为后续的任务分配提供了精准的数据基础。进一步地，通过负载均衡决策网络确定任务需求特征与优化特征知识信息之间的关联度，实现了任务与服务器集群之间匹配度的量化评估，使得任务能够被分配到最适合的服务器集群上，从而优化了数据中心的负载均衡，提高了任务处理的效率和服务器资源的利用率。