一种分布式文件系统响应时间预测方法、装置及存储介质与流程

本发明属于机器学习领域，尤其涉及一种分布式文件系统响应时间预测方法、装置及存储介质。

背景技术：

1、随着信息化时代的高速发展，分布式文件系统在各种计算和存储应用中得到广泛应用，例如海量数据存储、内容分发网络、高性能计算等。在这些应用过程中，文件系统的响应时间是一个非常关键的性能指标，它会直接影响到用户体验和服务质量。如果能够较为准确地预测得到文件系统的响应时间，就可以对系统性能优化、资源规划、系统设计等方面给出重要的参考。但是在实际的使用过程中，分布式文件系统的响应时间会受到多种因素的影响，如文件大小、网络带宽、存储设备性能、系统负载、分布式系统的节点数量、网络延迟等多重因素，这些因素之间的关系错综复杂，并且具有很大的不确定性。

2、目前对于分布式文件系统的响应时间预测，传统的方法通常基于经验或统计分析，这些方法在一定程度上可以反映响应时间与影响因素之间的关系，但是难以处理存在多重影响因素下的非线性关系和时序数据，并且预测精度非常有限。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种分布式文件系统响应时间预测方法、装置及存储介质，提高了时间预测的精度。

2、本发明的第一方面，提出了一种分布式文件系统响应时间预测方法，包括：

3、s1，导入数据，对导入的数据进行预处理，得到第一数据；

4、s2，对所述第一数据进行编码，将低维数据映射到高维，得到第二数据；

5、s3，将所述第二数据输入到多层感知机mlp中，将所述mlp模型推理得到的输出数据再输入到梯度提升模型中进行推理计算，得到第三数据；

6、s4，对所述第三数据解码，将数据从高维重新映射到低维，得到预测结果；

7、s5，根据所述预测结果和真实值计算预测误差，若满足预设条件则停止训练并保存模型，否则依次执行所述s2，s3和s4；

8、s6，根据保存的模型预测分布式文件系统的响应时间。

9、进一步地，对导入的数据进行预处理包括：

10、数据清洗和数据归一化处理；

11、所述数据清洗用于清除异常数据；

12、所述数据归一化处理用于统一各个输入数据的量纲。

13、进一步地，所述第一数据是[n,3]的数据，所述第二数据是[n,m]的数据；n表示行数，表示n次文件系统读写请求对应的不同的数据；3表示3列，分别为文件大小、网络带宽、系统负载；m表示列数；n是大于等于1的整数，m＝2s，s是大于等于1的整数。

14、进一步地，所述mlp用于学习文件大小、网络带宽和系统负载与响应时间之间的非线性关系；

15、所述梯度提升模型用于逐步构建多个决策树模型，并对每个模型的预测结果进行加权平均，得到最终的预测结果。

16、进一步地，第三数据是[n,m]的数据，得到的预测结果是[n,1]的目标序列。

17、进一步地，所述预设条件包括：

18、误差小于预设门限或当前训练次数已经达到了预设最大迭代次数。

19、进一步地，在分布式文件系统接收到读写请求时调用保存的模型推理计算得到预测的系统响应时间。

20、本发明的第二方面，提出了一种实现分布式文件系统响应时间预测方法的装置，包括：

21、预处理模块，被配置用于导入数据，对导入的数据进行预处理，得到第一数据；

22、编码模块，被配置用于对所述第一数据进行编码，将低维数据映射到高维，得到第二数据；

23、推理模块，被配置用于将所述第二数据输入到多层感知机mlp中，将所述mlp模型推理得到的输出数据输入到梯度提升模型中进行推理计算，得到第三数据；

24、解码模块，被配置用于对所述第三数据解码，将数据从高维重新映射到低维，得到预测结果；

25、判断模块，被配置用于根据所述预测结果和真实值计算预测误差，若满足预设条件则停止训练并保存模型，否则依次触发编码模块，推理模块和解码模块执行相应的操作。

26、本发明的第三方面，提出了一种实现分布式文件系统响应时间预测方法的装置，包括：存储器，收发机，中央处理器：

27、存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；中央处理器，用于读取所述存储器中的计算机程序并执行以下操作：

28、s1，导入数据，对导入的数据进行预处理，得到第一数据；

29、s2，对所述第一数据进行编码，将低维数据映射到高维，得到第二数据；

30、s3，将所述第二数据输入到多层感知机mlp中，将所述mlp模型推理得到的输出数据输入到梯度提升模型中进行推理计算，得到第三数据；

31、s4，对所述第三数据解码，将数据从高维重新映射到低维，得到预测结果；

32、s5，根据所述预测结果和真实值计算预测误差，若满足预设条件则停止训练并保存模型，否则依次执行所述s2，s3和s4。

33、本发明的第四方面，提出了一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现本发明的分布式文件系统响应时间预测方法。

34、本发明有益效果如下：

35、本发明所述的方法和装置，采用编码器-处理器-解码器的框架，将基于三维特征的推理问题放入高维空间中进行求解，提高了文件系统响应时间预测的精度。并且在处理器中基于mlp+gradient boosting的集成模型推理方法，提升了预测结果的准确性和稳定性。对于优化系统性能、规划资源、确保服务质量以及系统设计都具有重要的指导和参考价值。

技术特征：

1.一种分布式文件系统响应时间预测方法，其特征在于，包括：

2.根据权利要求1所述的分布式文件系统响应时间预测方法，其特征在于，s1中所述对导入的数据进行预处理包括：

3.根据权利要求2所述的分布式文件系统响应时间预测方法，其特征在于，所述s2中：

4.根据权利要求3所述的分布式文件系统响应时间预测方法，其特征在于，所述s3中：

5.根据权利要求1所述的分布式文件系统响应时间预测方法，其特征在于，所述对所述第三数据解码，将数据从高维重新映射到低维，得到预测结果包括：

6.根据权利要求5所述的分布式文件系统响应时间预测方法，其特征在于，所述预设条件包括：

7.根据权利要求1到6之一所述的分布式文件系统响应时间预测方法，其特征在于，还包括：

8.一种分布式文件系统响应时间预测装置，其特征在于，用于实现权利要求1至7任一项所述的分布式文件系统响应时间预测方法，所述装置包括：

9.一种分布式文件系统响应时间预测装置，其特征在于，用于实现权利要求1至7任一项所述的分布式文件系统响应时间预测方法，所述装置包括：存储器，收发机，中央处理器：

10.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7之一所述的分布式文件系统响应时间预测方法。

技术总结本发明涉及一种分布式文件系统响应时间预测方法，该方法包括：首先构建一个分布式文件系统响应时间预测模型，然后对该模型进行训练，然后使用训练好的模型进行分布式文件系统响应时间的预测。其中，在训练阶段，对训练数据进行预处理，再将数据从低维度映射到高维度，通过多层感知机和梯度提升模型进行推理计算，然后计算预测结果的误差高于预设的门限，或者训练次数未达到最大限制，则重新进行训练，否则结束训练，保存模型。最后，使用保存的模型预测分布式文件系统的响应时间。本发明还提供了一种分布式文件系统响应时间预测装置和存储介质。技术研发人员：曾柯钦,皇甫利刚,樊晓光,李想,任磊受保护的技术使用者：天翼云科技有限公司技术研发日：技术公布日：2024/7/29