模型训练方法、资源预测方法、电子设备及计算设备与流程
- 国知局
- 2024-09-05 14:48:50
本技术实施例涉及计算机领域,尤其涉及一种模型训练方法、资源预测方法、电子设备及计算设备。
背景技术:
1、集群中包括多个设备,在实际运行过程中,可以预测各设备在未来时刻的资源占用信息(例如,资源占用率),例如,资源可以为内存资源、处理器资源等。
2、在相关技术中,针对集群中的任意一个设备,可以根据该设备在历史时段和当前时刻的资源占用信息,预测该设备在未来时刻资源占用信息,然而,集群中其它设备可能会对该设备的资源占用信息造成影响,导致上述方法无法准确的确定设备在未来时刻的资源占用信息。
技术实现思路
1、本技术实施例提供一种模型训练方法、资源预测方法、电子设备及计算设备,用于解决因集群中不同设备之间的资源占用信息互相影响,而导致无法准确的确定设备在未来时刻的资源占用信息的问题。
2、第一方面,本技术实施例提供一种模型训练方法,包括:
3、在集群中确定至少一个设备集合,设备集合中的不同设备的资源占用信息之间具有关联关系;
4、对每个设备集合进行联合模型训练,得到每个设备集合对应的联合预测模型;
5、对集群中的每个设备进行独立模型训练,得到集群中各设备对应的独立预测模型;
6、根据每个设备集合对应的联合预测模型、以及集群中各设备对应的独立预测模型,确定集群中各设备对应的资源预测模型,资源预测模型用于预测设备在目标时段的资源占用信息。
7、一种可能的实现方式中,根据每个设备集合对应的联合预测模型、以及集群中各设备对应的独立预测模型,确定集群中各设备对应的资源预测模型,包括:
8、针对集群中的任意一个设备,若设备位于任意设备集合,则根据设备集合对应的联合预测模型和设备对应的独立预测模型,确定设备对应的资源预测模型;
9、若设备未位于至少一个设备集合,则将设备对应的独立预测模型确定为设备对应的资源预测模型。
10、一种可能的实现方式中,根据设备集合对应的联合预测模型和设备对应的独立预测模型,确定设备对应的资源预测模型,包括:
11、确定设备集合对应的联合预测模型对设备进行资源预测的第一精确度;
12、确定设备对应的独立预测模型对设备进行资源预测的第二精确度;
13、若第一精确度大于或等于第二精确度,则将设备集合对应的联合预测模型确定为设备对应的资源预测模型;
14、若第一精确度小于第二精确度,则将设备对应的独立预测模型确定为设备对应的资源预测模型。
15、一种可能的实现方式中,针对任意一个设备集合,对设备集合进行联合模型训练,得到设备集合对应的联合预测模型,包括:
16、获取设备集合对应的多个样本数据,样本数据包括样本历史资源占用信息和标注资源占用信息,样本历史资源占用信息中包括设备集合中各设备在多个样本历史时刻的资源占用信息,标注资源占用信息包括设备集合中各设备在标注时刻的资源占用信息;
17、根据多个样本数据进行模型训练,得到设备集合对应的联合预测模型。
18、一种可能的实现方式中,资源占用信息为资源占用量;获取设备集合对应的多个样本数据,包括:
19、获取设备集合中各设备的历史资源占用信息,历史资源占用信息包括设备在历史时段内的资源占用量;
20、针对设备集合中的任意一个设备,对设备的历史资源占用信息进行采样处理和缺失值填补处理,得到设备在多个历史时刻的资源占用量;
21、根据每个设备在多个历史时刻的资源占用量,确定设备集合对应的多个样本数据。
22、一种可能的实现方式中,在集群中确定至少一个设备集合,包括:
23、获取集群对应的至少一个关联设备信息,关联设备信息中包括多个关联设备的设备标识;
24、针对任意一个关联设备信息,获取关联设备信息对应的多个关联设备在历史时段的设备状态,并根据多个关联设备的设备状态,在多个关联设备中确定关联设备信息对应的设备集合,设备集合中各设备的设备状态为正常状态。
25、第二方面,本技术实施例提供一种资源预测方法,包括:
26、在集群中确定关联设备集合,关联设备集合中不同设备的资源占用信息之间具有相互影响关系,关联设备集合中各设备对应的资源预测模型相同;
27、确定关联设备集合对应的资源预测模型;
28、通过资源预测模型预测关联设备集合中各设备在目标时段的资源占用信息,其中,资源预测模型为根据第一方面以及任一可能实现方式中涉及的模型训练方法得到的。
29、一种可能的实现方式中,通过资源预测模型预测关联设备集合中各设备在目标时段的资源占用信息,包括:
30、获取设备集合中各设备的历史资源占用信息;
31、通过资源预测模型对设备集合中各设备的历史资源占用信息进行处理,得到关联设备集合中各设备在目标时段的资源占用信息。
32、一种可能的实现方式中,资源占用信息为资源占用率;方法还包括:
33、获取虚拟机创建请求,虚拟机创建请求用于请求在目标时段内在集群中部署虚拟机;
34、根据集群中各设备在目标时段的资源占用信息,在集群中确定目标设备,目标设备在目标时段的资源占用率最低;
35、根据虚拟机创建请求在目标设备中部署虚拟机。
36、第三方面,本技术实施例提供一种模型训练装置,包括:第一确定模块、联合训练模块、独立训练模块和第二确定模块,其中,
37、第一确定模块用于,在集群中确定至少一个设备集合,设备集合中的不同设备的资源占用信息之间具有关联关系;
38、联合训练模块用于,对每个设备集合进行联合模型训练,得到每个设备集合对应的联合预测模型;
39、独立训练模块用于,对集群中的每个设备进行独立模型训练,得到集群中各设备对应的独立预测模型;
40、第二确定模块用于,根据每个设备集合对应的联合预测模型、以及集群中各设备对应的独立预测模型,确定集群中各设备对应的资源预测模型,资源预测模型用于预测设备在目标时段的资源占用信息。
41、一种可能的实现方式中,第二确定模块具体用于:
42、针对集群中的任意一个设备,若设备位于任意设备集合,则根据设备集合对应的联合预测模型和设备对应的独立预测模型,确定设备对应的资源预测模型;
43、若设备未位于至少一个设备集合,则将设备对应的独立预测模型确定为设备对应的资源预测模型。
44、一种可能的实现方式中,第二确定模块具体用于:
45、确定设备集合对应的联合预测模型对设备进行资源预测的第一精确度;
46、确定设备对应的独立预测模型对设备进行资源预测的第二精确度;
47、若第一精确度大于或等于第二精确度,则将设备集合对应的联合预测模型确定为设备对应的资源预测模型;
48、若第一精确度小于第二精确度,则将设备对应的独立预测模型确定为设备对应的资源预测模型。
49、一种可能的实现方式中,针对任意一个设备集合;联合训练模块具体用于:
50、获取设备集合对应的多个样本数据,样本数据包括样本历史资源占用信息和标注资源占用信息,样本历史资源占用信息中包括设备集合中各设备在多个样本历史时刻的资源占用信息,标注资源占用信息包括设备集合中各设备在标注时刻的资源占用信息;
51、根据多个样本数据进行模型训练,得到设备集合对应的联合预测模型。
52、一种可能的实现方式中,资源占用信息为资源占用量;联合训练模块具体用于:
53、获取设备集合中各设备的历史资源占用信息,历史资源占用信息包括设备在历史时段内的资源占用量;
54、针对设备集合中的任意一个设备,对设备的历史资源占用信息进行采样处理和缺失值填补处理,得到设备在多个历史时刻的资源占用量;
55、根据每个设备在多个历史时刻的资源占用量,确定设备集合对应的多个样本数据。
56、一种可能的实现方式中,第一确定模块具体用于:
57、获取集群对应的至少一个关联设备信息,关联设备信息中包括多个关联设备的设备标识;
58、针对任意一个关联设备信息,获取关联设备信息对应的多个关联设备在历史时段的设备状态,并根据多个关联设备的设备状态,在多个关联设备中确定关联设备信息对应的设备集合,设备集合中各设备的设备状态为正常状态。
59、第四方面,本技术实施例提供一种资源预测装置,包括:第一确定模块、第二确定模块和预测模块,其中,
60、第一确定模块用于,在集群中确定关联设备集合,关联设备集合中不同设备的资源占用信息之间具有相互影响关系,关联设备集合中各设备对应的资源预测模型相同;
61、第二确定模块用于,确定关联设备集合对应的资源预测模型;
62、预测模块用于,通过资源预测模型预测关联设备集合中各设备在目标时段的资源占用信息,其中,资源预测模型为根据第一方面以及任一可能实现方式中涉及的模型训练方法得到的。
63、一种可能的实现方式中,预测模块具体用于,
64、获取设备集合中各设备的历史资源占用信息;
65、通过资源预测模型对设备集合中各设备的历史资源占用信息进行处理,得到关联设备集合中各设备在目标时段的资源占用信息。
66、一种可能的实现方式中,资源占用信息为资源占用率;装置还包括创建模块,其中,创建模块用于:
67、获取虚拟机创建请求,虚拟机创建请求用于请求在目标时段内在集群中部署虚拟机;
68、根据集群中各设备在目标时段的资源占用信息,在集群中确定目标设备,目标设备在目标时段的资源占用率最低;
69、根据虚拟机创建请求在目标设备中部署虚拟机。
70、第五方面,本技术实施例提供一种电子设备,电子设备包括存储器和处理器;
71、存储器和处理器耦合;
72、存储器用于存储程序指令;
73、处理器用于调用程序指令,以使电子设备执行如第一方面以及任一可能实现方式中涉及的模型训练方法。
74、第六方面,本技术实施例提供一种计算设备,计算设备包括存储器和处理器;
75、存储器和处理器耦合;
76、存储器用于存储程序指令;
77、处理器用于调用程序指令,以使计算设备执行如第二方面以及任一可能实现方式中涉及的资源预测方法。
78、第七方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被电子设备执行时用于实现如第一方面以及任一可能实现方式中所涉及的模块训练方法。
79、第八方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被第一计算设备时用于实现如第二方面以及任一可能实现方式中所涉及的资源预测方法。
80、第九方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被电子设备执行时实现第一方面以及任一可能实现方式中所涉及的模型训练方法。
81、第十方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被第一计算设备执行时实现第二方面以及任一可能实现方式中所涉及的资源预测方法。
82、本技术实施例所示的模型训练方法、资源预测方法、电子设备及计算设备中,模型训练方法通过确定设备集合,针对设备集合进行联合模型训练,得到各设备集合对应的联合预测模型。对集群中各设备进行独立模型训练,得到集群中各设备对应的独立预测模型。根据联合预测模型和独立预测模型,选择集群中各设备的资源预测模型。资源预测方法根据集群中各设备的资源预测模型,预测该设备在目标时段的资源占用信息。在集群中各设备进行资源预测时,考虑了集群中不同设备的资源占用信息可能存在相互影响的情况,使得对设备的资源占用信息进行预测时,预测准确率更高。
本文地址:https://www.jishuxx.com/zhuanli/20240905/288218.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。