性能指标的预测方法和装置、存储介质及电子设备与流程
- 国知局
- 2024-11-19 10:02:54
本技术实施例涉及计算机领域,具体而言,涉及一种性能指标的预测方法和装置、存储介质及电子设备。
背景技术:
1、随着信息技术的快速发展,数据存储已经成为各种应用和服务的核心组成部分。为了确保存储系统的高效和稳定运行,对其进行性能指标预测显得尤为重要。存储性能指标预测是指通过分析和学习历史数据,对未来一段时间内的存储性能进行预测,如cpu利用率、数据吞吐量、i/o延迟等。这种预测有助于企业提前了解和评估存储系统的运行状态,从而进行及时优化和调整,避免因性能瓶颈导致的服务中断或数据丢失。
2、为了有效地进行存储性能监控和预测,云端监控系统被广泛应用。云端监控系统能够实时收集、分析和展示存储系统的各项性能指标,帮助管理员全面了解存储系统的运行状态。然而,随着边缘端产生的数据不仅规模庞大,而且通常以高速率生成,需要被及时、准确地处理和分析,当这些数据汇集到云端时,对云端的算力提出了极高的要求。此外,在对存储性能监控和预测的过程中,由于存在大量可以用于存储性能监控和预测的性能指标,如果基于全部性能指标的原始数据进行处理分析,则会存在预测效率较低的技术问题。
3、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本技术实施例提供了一种性能指标的预测方法和装置、存储介质及电子设备,以至少解决相关技术中对存储性能进行预测的方法效率较低的技术问题。
2、根据本技术实施例的一个方面,提供了一种性能指标的预测方法,包括:通过目标设备获取服务器发送的目标性能预测模型,其中,上述目标性能预测模型的目标模型参数集合为服务器根据多个边缘设备返回的参考模型参数集合确定的;获取上述目标设备在性能检测周期内的存储性能特征序列,其中,上述存储性能特征序列中包括多个时间节点分别匹配的存储性能特征,多个上述时间节点为上述性能检测周期内的时间节点,上述存储性能特征中包括与多个存储性能指标分别匹配的指标性能子特征,上述指标性能子特征用于指示在与之匹配的上述时间节点上,上述目标设备的上述存储性能指标的性能表现;将多个上述存储性能特征依次输入上述目标性能预测模型中的变量选择网络,得到与多个上述存储性能特征各自匹配的指标权重集合,并根据多个上述存储性能特征与各自匹配的上述指标权重集合,确定多个目标存储性能特征,其中,上述指标权重集合中包括与多个上述指标性能子特征各自对应的指标权重;将由多个上述目标存储性能特征组成的目标性能特征序列,输入上述目标性能预测模型中的时间卷积网络,得到目标时刻的性能指标预测结果,其中,上述时间卷积网络用于确定多个上述目标存储性能特征中的至少两个上述目标存储性能特征之间的时间依赖关系。
3、根据本技术实施例的另一个方面,提供了一种性能指标预测模型的训练方法,包括:构建处于训练阶段的第一参考预测模型,其中,上述第一参考预测模型中包括处于训练阶段的参考变量选择网络以及处于训练阶段的参考时间卷积网络,上述第一参考预测模型根据第一模型参数集合进行描述,上述变量选择网络用于确定存储性能特征中的多个存储性能指标分别匹配的指标性能子特征各自对应的指标权重,上述指标性能子特征用于指示边缘设备的上述存储性能指标的性能表现;在从多个边缘设备中确定出用于对上述第一参考预测模型进行训练的至少一个目标设备的情况下,将上述第一参考预测模型发送至上述目标设备,其中,上述第一参考预测模型根据第一模型参数集合进行描述;获取多个上述目标设备返回的第二模型参数集合,其中,上述第二模型参数集合用于描述第二参考预测模型,上述第二参考预测模型为上述目标设备基于训练样本库,对上述第一参考预测模型训练得到的;根据至少一个上述第二模型参数集合,确定用于描述目标性能预测模型的目标模型参数集合。
4、根据本技术实施例的又一方面,还提供了一种性能指标的预测装置,包括:
5、第一获取单元,用于通过目标设备获取服务器发送的目标性能预测模型,其中,上述目标性能预测模型的目标模型参数为服务器根据多个边缘设备返回的参考模型参数确定的;
6、第二获取单元,用于获取上述目标设备在性能检测周期内的存储性能特征序列,其中,上述存储性能特征序列中包括多个时间节点分别匹配的存储性能特征,多个上述时间节点为上述性能检测周期内的时间节点,上述存储性能特征中包括与多个存储性能指标分别匹配的指标性能子特征,上述指标性能子特征用于指示在与之匹配的上述时间节点上,上述目标设备的上述存储性能指标的性能表现;
7、特征处理单元,用于将多个上述存储性能特征依次输入上述目标性能预测模型中的变量选择网络,得到与多个上述存储性能特征各自匹配的指标权重集合,并根据多个上述存储性能特征与各自匹配的上述指标权重集合,确定多个目标存储性能特征,其中,上述指标权重集合中包括与多个上述指标性能子特征各自对应的指标权重;
8、预测单元,用于将由多个上述目标存储性能特征组成的目标性能特征序列,输入上述目标性能预测模型中的时间卷积网络,得到目标时刻的性能指标预测结果,其中,上述时间卷积网络用于确定多个上述目标存储性能特征中的至少两个上述目标存储性能特征之间的时间依赖关系。
9、可选地,上述特征处理单元,包括:获取模块,用于从多个上述存储性能特征中获取当前存储性能特征,其中,上述当前存储性能特征为由多个特征向量组成的当前特征矩阵,多个上述特征向量分别用于表征一个上述指标性能子特征;输入模块,用于将上述当前存储性能特征输入上述变量选择网络中的指标权重模块,得到与上述当前存储性能特征匹配的当前权重向量,其中,上述当前权重向量中包括与多个上述特征向量分别匹配的上述指标权重;计算模块,用于将上述当前权重向量与上述当前特征矩阵之间的乘积结果,确定为与上述当前存储性能特征匹配的上述目标存储性能特征。
10、可选地,上述输入模块,用于:通过特征转换函数对上述当前存储性能特征进行处理,得到参考存储性能特征,其中,上述特征转换函数包括以下之一:线性变换函数,多元感知机函数;通过稀疏归一化函数对上述参考存储性能特征进行处理,得到上述当前权重向量。
11、可选地,上述输入模块,用于:获取拉格朗日乘子与第一参考向量之间的乘积结果,得到第二参考向量,其中,上述第一参考向量中包括的向量元素均为全1;将上述参考存储性能特征与上述第二参考向量之间的向量差,确定为第一中间存储性能特征;将上述中间存储性能特征中的每个向量元素转换为与之对应的倒数平方根,得到第二中间存储性能特征;将上述第二中间存储性能特征中数值小于0的向量元素的数值更新为0,得到上述当前权重向量。
12、可选地,上述预测单元,用于:将当前性能特征序列输入上述时间卷积网络中的当前特征处理模块,其中,上述当前性能特征序列为上述目标性能特征序列经由至少一个上述特征处理模块处理得到的,上述时间卷积网络中包括多个堆叠的特征处理模块,上述特征处理模块中包括:两个膨胀因果卷积子模块,两个层正则化子模块,一个位于两个上述膨胀因果卷积子模块之间的激活函数子模块;获取上述当前特征处理模块基于上述当前性能特征序列的当前输出结果;在上述当前特征处理模块连接有下一个上述特征处理模块的情况下,将上述当前输出结果输入下一个上述特征处理模块;在上述当前特征处理模块未连接下一个上述特征处理模块的情况下,根据线性变换层对上述当前输出结果进行处理,得到上述目标时刻的上述性能指标预测结果。
13、可选地,上述预测单元,用于:获取与上述当前特征处理模块匹配的卷积核以及膨胀因子;基于上述卷积核和上述当前性能特征序列,以及上述膨胀因子执行卷积操作,其中,上述膨胀因子用于跳过当前时刻对应的输入值,并将上述卷积操作对应的操作区域作用于目标特征区域,上述目标特征区域对应的步长范围大于上述卷积核对应的步长范围。
14、可选地,上述第二获取单元,包括:特征提取模块,用于获取上述性能检测周期内的多个上述时间节点,以及与多个上述时间节点分别匹配的多个指标参数,其中,多个上述指标参数分别对应于一个上述存储性能指标,多个上述存储性能指标包括以下至少之一:读写速率指标,带宽指标,时延指标,cpu利用率指标,数据吞吐量指标,其中,上述读写速率指标用于指示上述目标设备在单位时间内执行读写操作的操作数量;根据每个上述时间节点,对上述时间节点对应的多个上述指标参数进行归一化处理,得到与多个上述指标参数分别匹配的指标特征值;根据多个上述指标特征值确定与上述时间节点匹配的上述存储性能特征;将多个上述时间节点各自对应的上述存储性能特征,确定为上述存储性能特征序列。
15、可选地,上述特征提取模块,用于:获取上述时间节点对应多个时间参数中的当前时间参数,其中,多个上述时间参数用于描述上述时间节点;根据上述当前时间参数所对应的时间周期,将上述当前时间参数转化为当前时间特征值;根据多个上述时间参数各自对应的上述当前时间特征值确定用于指示上述时间节点的时间特征向量。
16、可选地,上述特征提取模块,用于:获取用于表征上述时间节点的时间特征向量的向量维度;将多个上述指标特征值分别转换为与上述向量维度匹配的指标特征向量,其中,上述指标特征向量用于指示上述指标性能子特征;将多个上述指标特征向量组成的特征矩阵,确定为与上述时间节点匹配的上述存储性能特征。
17、可选地,上述性能指标的预测装置,还包括:训练单元,用于从上述服务器获取处于训练阶段的第一参考预测模型,其中,上述第一参考预测模型中包括处于训练阶段的参考变量选择网络以及处于训练阶段的参考时间卷积网络,上述第一参考预测模型根据第一模型参数集合进行描述;获取根据上述目标设备的历史运行状态确定的训练样本库,其中,上述训练样本库中包括与多个历史时间节点分别匹配的训练样本,上述训练样本中包括与上述历史时间节点匹配的历史存储性能特征序列,以及上述历史时间节点匹配的历史标签存储性能特征;根据上述训练样本库对上述第一参考预测模型进行训练,得到满足本地训练条件的第二参考预测模型;将用于指示上述第二参考预测模型的第二模型参数集合发送至上述服务器。
18、可选地,上述训练单元,用于:在当前训练轮次中,获取与上述当前训练轮次匹配的训练样本子集对应的参考训练损失梯度集合,其中,上述训练样本库中包括多个上述训练样本子集,上述参考训练损失梯度集合中包括与上述训练样本子集中的多个上述训练样本分别对应的第一训练损失梯度;对上述参考训练损失梯度集合中的上述第一训练损失梯度分别进行梯度裁剪处理,得到与上述第一训练损失梯度分别对应的第二训练损失梯度;根据参考噪声信息与多个上述第二训练损失梯度,确定第三训练损失梯度;根据上述第三训练损失梯度,对上述第一参考预测模型的上述第一模型参数集合进行调整,得到上述当前训练轮次对应的更新后的上述第一模型参数集合。
19、可选地,上述训练单元,用于:获取上述第一训练损失梯度对应的2阶范数与目标常数之间的第一比值;在上述第一比值大于或等于1的情况下,将上述第一训练损失梯度与上述第一比值之间的第二比值确定为上述第二训练损失梯度;在上述第一比值小于1的情况下,将上述第一训练损失梯度确定为上述第二训练损失梯度。
20、可选地,上述训练单元,用于:获取根据正态分布随机变量确定的上述参考噪声信息;将多个第二训练损失梯度之间的加权求和结果,确定为第三参考噪声梯度;将上述第三参考噪声梯度与上述参考噪声信息之间的加权求和结果,确定为上述第三训练损失梯度。
21、可选地,上述训练单元,用于:将目标学习率与上述第三训练损失梯度之间的乘积结果,确定为与上述当前训练轮次对应的参数调整度;根据上述参数调整度对上述第一模型参数集合中的模型参数进行调整,得到更新后的上述第一模型参数集合。
22、可选地,上述训练单元,用于:在根据上述第二参考预测模型确定的第三参考预测模型,满足目标训练条件的情况下,获取上述服务器发送的上述目标性能预测模型,其中,上述第三参考预测模型的模型参数,为上述服务器基于联邦平均算法对多个上述边缘设备发送的上述参考模型参数进行处理后得到的,发送上述参考模型参数的上述边缘设备的第一设备数量,与边缘设备集合中的第二设备数量之间的数量比值为目标值,上述边缘设备集合中包括与上述服务器连接的全部边缘设备;在根据上述第二参考预测模型确定的第三参考预测模型,不满足上述目标训练条件的情况下,获取上述服务器发送的上述第三参考预测模型;根据上述训练样本库对上述第三预测模型进行训练。
23、可选地,上述训练单元,用于:从目标加密信道中获取第一加密参数信息;对上述第一加密参数信息进行解密,得到用于指示上述第一参考预测模型的上述第一模型参数集合;对上述第二模型参数集合进行加密处理,得到第二加密参数信息;通过上述目标加密信道将上述第二加密参数信息发送给上述服务器。
24、根据本技术实施例的又一方面,还提供了一种性能指标预测模型的训练装置,包括:构建单元,用于构建处于训练阶段的第一参考预测模型,其中,上述第一参考预测模型中包括处于训练阶段的参考变量选择网络以及处于训练阶段的参考时间卷积网络,上述第一参考预测模型根据第一模型参数集合进行描述,上述变量选择网络用于确定存储性能特征中的多个存储性能指标分别匹配的指标性能子特征各自对应的指标权重,上述指标性能子特征用于指示边缘设备的上述存储性能指标的性能表现;发送单元,用于在从多个边缘设备中确定出用于对上述第一参考预测模型进行训练的至少一个目标设备的情况下,将上述第一参考预测模型发送至上述目标设备,其中,上述第一参考预测模型根据第一模型参数集合进行描述;获取单元,用于获取多个上述目标设备返回的第二模型参数集合,其中,上述第二模型参数集合用于描述第二参考预测模型,上述第二参考预测模型为上述目标设备基于训练样本库,对上述第一参考预测模型训练得到的;训练单元,用于根据至少一个上述第二模型参数集合,确定用于描述目标性能预测模型的目标模型参数集合。
25、根据本技术实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述性能指标的预测方法或上述性能指标预测模型的训练方法。
26、根据本技术实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上性能指标的预测方法或上述性能指标预测模型的训练方法。
27、根据本技术实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过计算机程序执行上述的性能指标的预测方法或上述性能指标预测模型的训练方法。
28、通过本技术的上述实施方式,可以通过目标设备获取服务器发送的目标性能预测模型;获取目标设备在性能检测周期内的存储性能特征序列;将多个存储性能特征依次输入目标性能预测模型中的变量选择网络,得到与多个存储性能特征各自匹配的指标权重集合,并根据多个存储性能特征与各自匹配的指标权重集合,确定多个目标存储性能特征;将由多个目标存储性能特征组成的目标性能特征序列,输入目标性能预测模型中的时间卷积网络,得到目标时刻的性能指标预测结果。
29、在本技术的上述实施方式中,服务器将用于对目标设备的存储性能进行预测的预测模型下发至目标终端,从而避免了他通过服务器集中接收多个设备的运行数据并基于多个设备的大量设备进行分析,降低了服务器的运行压力;另外,各个目标设备的性能预测仅基于本地数据进行,避免了将本地数据发送至服务器所带来的数据隐私风险;最后,在服务器下发的目标性能预测模型中,包括了变量选择网络,进而可以实现通过变量选择网络确定的指标权重集合,从多个指标性能子特征中确定出对于预测任务更加关键的性能指标,进而提升了对存储性能预测的效率,解决了相关技术中对存储性能进行预测的效率较低的技术问题。
本文地址:https://www.jishuxx.com/zhuanli/20241118/331303.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表