存储系统的扩容处理方法、装置及电子设备与流程
- 国知局
- 2024-07-31 22:38:09
本技术涉及数据处理,尤其涉及一种存储系统的扩容处理方法、装置及电子设备。
背景技术:
1、随着时间的推移,云平台的存储容量需求也会越来越大。
2、为了提高云平台的存储可靠性,需要及时对云平台进行容量预测,并采取必要的运维措施,避免云平台的存储容量无法达到存储要求,出现容量不足的情况。
技术实现思路
1、有鉴于此,本技术提供一种存储系统的扩容处理方法、装置及电子设备,如下:
2、一种存储系统的扩容处理方法,包括:
3、获得所述存储系统的存储状态信息,所述存储状态信息至少包括:至少两个历史时刻对应的第一使用量;
4、根据所述至少两个历史时刻对应的第一使用量,确定所述存储系统在至少一个未来时刻对应的第二使用量;每个所述未来时刻分别对应于至少一个所述第二使用量;
5、根据所述第二使用量,利用目标模型,确定所述第二使用量对应的扩容信息,所述扩容信息至少包括:扩容设备的设备信息;
6、基于所述扩容信息,对所述存储系统进行扩容。
7、上述方法,优选的,在根据所述第二使用量,确定所述第二使用量对应的扩容信息之前,所述方法还包括:
8、根据所述存储系统在至少一个未来时刻对应的第二使用量,建立预测场景树;
9、其中,所述预测场景树中的根节点对应于所述存储状态信息中当前时刻对应的当前使用量,所述预测场景树中的其他节点分别对应于每个所述未来时刻对应的优化后的第二使用量。
10、上述方法,优选的,根据所述存储系统在至少一个未来时刻对应的第二使用量,建立预测场景树,包括:
11、针对所述当前时刻对应的当前使用量,创建预测场景树的根节点,所述根节点的节点值为所述当前时刻对应的当前使用量;
12、将所述预测场景树中的每个节点作为当前节点,通过以下方式为所述当前节点配置至少一个子节点:
13、获得在所述当前节点对应的时刻之后的未来时刻对应的第二使用量;
14、对所述未来时刻对应的第二使用量进行聚类,以得到至少一个簇,所述簇对应于在所述当前节点对应的时刻之后的未来时刻;所述簇具有聚类中心值,所述聚类中心值对应有预测概率;
15、根据所述聚类中心值及其对应的预测概率,为所述当前节点配置至少一个子节点,所述当前节点的每个子节点的节点值为对应的所述簇的聚类中心值,且,所述当前节点的每个子节点的节点概率为所述聚类中心值对应的预测概率。
16、上述方法,优选的,根据所述存储系统在至少一个未来时刻对应的第二使用量,建立预测场景树,包括:
17、针对所述当前时刻对应的当前使用量,创建预测场景树的根节点,所述根节点的节点值为所述当前时刻对应的当前使用量;
18、根据所述存储系统在至少一个未来时刻对应的第二使用量,生成多条模拟路径;所述模拟路径以所述根节点为起始节点,所述模拟路径中的其他节点分别对应于每个所述未来时刻,所述其他节点的节点值为相应的未来时刻对应的第二使用量;
19、将所述预测场景树中的每个节点作为当前节点,通过以下方式为所述当前节点配置至少一个子节点:
20、确定所述模拟路径中以所述当前节点为起始节点的子路径;
21、根据所述子路径,对在所述当前节点对应的时刻之后的未来时刻对应的第二使用量进行聚类,以得到至少一个簇;所述簇对应于在所述当前节点对应的时刻之后的未来时刻;所述簇具有聚类中心值,所述聚类中心值对应有预测概率;
22、根据所述聚类中心值及其对应的预测概率,为所述当前节点配置至少一个子节点,所述当前节点的每个子节点的节点值为对应的所述簇的聚类中心值,且,所述当前节点的每个子节点的节点概率为所述聚类中心值对应的预测概率。
23、上述方法,优选的,所述预测场景树的高度等于高度阈值;
24、其中,所述预测场景树中的每个叶子节点对应的全概率值小于或等于全概率阈值;所述叶子节点对应的全概率值根据从所述叶子节点到所述根节点之间的一条节点路径中所有节点的节点概率获得。
25、上述方法,优选的,所述簇的数量使得所述簇对应的概率分布相似度衡量指标与预设的第一阈值相匹配;
26、其中,所述概率分布相似度衡量指标表征:第一概率分布与第二概率分布之间的相似性;所述第一概率分布为:所述未来时刻对应的第二使用量对应的概率分布,所述第二概率分布为:所述簇对应的概率分布。
27、上述方法,优选的,在根据所述第二使用量,利用目标模型,确定所述第二使用量对应的扩容信息之前,所述方法还包括:
28、按照所述预测场景树中的叶子节点,对所述预测场景树中每个所述未来时刻对应的节点进行筛选,以得到优化后的预测场景树;
29、其中,所述优化后的预测场景树中每个所述未来时刻对应的节点的节点值用于利用所述目标模型,确定所述第二使用量对应的扩容信息。
30、上述方法,优选的,根据所述子路径,对在所述当前节点对应的时刻之后的未来时刻对应的第二使用量进行聚类,以得到至少一个簇,包括:
31、按照每个所述未来时刻对应的权重值,根据所述子路径中每个节点对应的节点值,对在所述当前节点对应的时刻之后的未来时刻对应的第二使用量进行聚类,以得到至少一个簇。
32、上述方法,优选的,在根据所述聚类中心值及其对应的预测概率,为所述当前节点配置至少一个子节点之前,所述方法还包括:
33、对所述聚类中心值及其对应的预测概率进行校正。
34、上述方法,优选的,根据所述至少两个历史时刻对应的第一使用量,确定所述存储系统在至少一个未来时刻对应的第二使用量,包括:
35、根据所述多个历史时刻对应的第一使用量,构建使用容量增长模型,以得到所述存储系统在至少一个未来时刻对应于的第二使用量;
36、其中,所述使用容量增长模型表征:所述存储系统的存储使用量与使用时刻之间的关系;所述使用容量增长模型的模型参数包括:使用容量线性增长部分的参数和使用容量跳变增长部分的参数。
37、上述方法,优选的,所述使用容量线性增长部分的参数包括斜率参数,所述斜率参数通过以下方式获得:
38、根据所述至少两个历史时刻对应的第一使用量,通过曲线拟合,获得所述至少两个历史时刻对应的斜率计算值;
39、根据所述历史时刻对应的斜率计算值,获得每个所述未来时刻斜率预测值。
40、上述方法,优选的,所述方法还包括:
41、在每个所述未来时刻上,至少根据所述未来时刻对应的斜率计算值,对所述未来时刻对应的斜率预测值进行更新;
42、其中,所述未来时刻对应的斜率计算值根据所述存储系统在所述未来时刻对应的存储使用量获得;更新后的所述斜率预测值用于获得下一个未来时刻对应的斜率预测值。
43、上述方法,优选的,对所述未来时刻对应的斜率预测值进行更新,包括:
44、根据在所述未来时刻之前的时刻对应的预测方差,获得所述未来时刻对应的预测方差;
45、获得所述存储系统在所述未来时刻对应的存储使用量与所述未来时刻对应的第二使用量之间的预测残差;
46、至少根据所述未来时刻对应的预测方差和所述预测残差,对所述未来时刻对应的斜率预测值进行更新,以得到更新后的所述未来时刻对应的斜率预测值。
47、上述方法,优选的,至少根据所述未来时刻对应的预测方差和所述预测残差,对所述未来时刻对应的斜率预测值进行更新,包括:
48、根据所述未来时刻对应的预测方差和观测误差参数,获得所述预测残差的协方差;
49、根据所述未来时刻对应的预测方差和所述协方差,获得所述未来时刻对应的卡尔曼增益参数;
50、根据所述卡尔曼增益参数和所述预测残差,对所述未来时刻对应的斜率预测值进行更新,以得到更新后的所述未来时刻对应的斜率预测值。
51、上述方法,优选的,所述使用容量跳变增长部分的参数至少包括:使用量跳变幅度;
52、其中,所述使用量跳变幅度通过以下方式获得:
53、根据所述至少两个历史时刻对应的第一使用量,构建概率质量函数,所述概率质量函数表征所述第一使用量中发生的每个所述使用量跳变幅度发生的概率;
54、根据所述概率质量参数,构建所述使用量跳变幅度对应的幅度累积分布函数;所述幅度累积分布函数表征累积的所述使用量跳变幅度对应的概率;
55、根据随机数,对所述幅度累积分布函数取逆函数,以得到跳变幅度预测函数,所述跳变幅度预测函数表征每次发生使用量跳变时的使用量跳变幅度。
56、上述方法,优选的,所述使用容量跳变增长部分的参数至少包括:使用量跳变次数、相邻两次使用量跳变之间的跳变间隔时长;所述使用量跳变次数满足第一分布类型,所述跳变间隔时长满足第二分布类型;
57、其中,在所述第一分布类型为泊松分布的情况下,所述泊松分布中的参数根据单位时间内所述存储系统发生使用量跳变的平均发生次数获得。
58、上述方法,优选的,所述目标模型至少具有目标函数,所述目标函数与所述存储系统的扩容成本相关;
59、其中,所述扩容信息使得所述存储系统的扩容成本满足所述目标函数。
60、上述方法,优选的,基于所述扩容信息,对所述存储系统进行扩容,包括:
61、从所述扩容信息中确定满足筛选条件的目标信息;
62、使用所述目标信息,对所述存储系统进行扩容;
63、其中,所述筛选条件与以下至少一项筛选参数相关:
64、所述扩容信息对应的第二使用量对应的预测概率;所述扩容信息对应的扩容成本;目标信息数量。
65、上述方法,优选的,基于所述扩容信息,对所述存储系统进行扩容,包括:
66、根据每个所述未来时刻分别对应的第二使用量,获得所述第二使用量首次到达容量阈值的未来时刻以及对应的概率值;
67、根据所述第二使用量首次到达所述容量阈值的未来时刻以及对应的概率值,拟合出第一概率密度函数;所述第一概率密度函数表征每个所述未来时刻对应的第二使用量到达所述容量阈值的概率值;
68、基于所述第一概率密度函数,按照概率分位数,获得所述容量阈值对应的告警时刻;
69、使用所述告警时刻对应的扩容信息,对所述存储系统进行扩容。
70、上述方法,优选的,基于所述扩容信息,对所述存储系统进行扩容,包括:
71、针对每个所述未来时刻,根据所述未来时刻对应的第二使用量对应的预测概率,拟合出第二概率密度函数,所述第二概率密度函数表征所述未来时刻对应的每个第二使用量的概率值;
72、基于所述第二概率密度函数,按照容量阈值,获得所述未来时刻对应的告警信息,所述告警信息表征是否针对所述未来时刻所述第二使用量到达所述容量阈值进行告警;
73、根据所述告警信息,使用所述告警信息对应的未来时刻对应的扩容信息,对所述存储系统进行扩容。
74、一种存储系统的扩容处理装置,包括:
75、信息获得单元,用于获得所述存储系统的存储状态信息,所述存储状态信息至少包括:至少两个历史时刻对应的第一使用量;
76、未来预测单元,用于根据所述至少两个历史时刻对应的第一使用量,确定所述存储系统在至少一个未来时刻对应的第二使用量;每个所述未来时刻分别对应于至少一个所述第二使用量;
77、扩容确定单元,用于根据所述第二使用量,利用目标模型,确定所述第二使用量对应的扩容信息,所述扩容信息至少包括:扩容设备的设备信息;
78、存储扩容单元,用于基于所述扩容信息,对所述存储系统进行扩容。
79、一种电子设备,包括:
80、存储器,用于存储计算机程序以及所述计算机程序运行所产生的数据;
81、处理器,用于执行所述计算机程序,以实现:获得所述存储系统的存储状态信息,所述存储状态信息至少包括:至少两个历史时刻对应的第一使用量;根据所述至少两个历史时刻对应的第一使用量,确定所述存储系统在至少一个未来时刻对应的第二使用量;每个所述未来时刻分别对应于至少一个所述第二使用量;根据所述第二使用量,利用目标模型,确定所述第二使用量对应的扩容信息,所述扩容信息至少包括:扩容设备的设备信息;基于所述扩容信息,对所述存储系统进行扩容。
82、一种计算机装置/设备/系统,包括:存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现上述方法的步骤。
83、一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现上述方法的步骤。
84、一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现上述方法的步骤。
85、从上述技术方案可以看出,本技术公开的一种存储系统的扩容处理方法、装置及电子设备中,在获得存储系统在历史时刻对应的第一使用量之后,对存储系统在至少一个未来时刻的使用量进行预测并据此确定扩容信息,以便于对存储系统进行扩容,避免存储系统的存储容量不足的情况,能够及时预测存储系统在至少一个未来时刻上各自的使用量以实现存储系统扩容,由此能够提高存储系统的可靠性。
本文地址:https://www.jishuxx.com/zhuanli/20240730/193927.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。