存储系统的参数配置方法、装置、设备及存储介质与流程

本发明涉及计算机，特别涉及一种存储系统的参数配置方法、装置、设备及存储介质。

背景技术：

1、在分布式文件存储系统中，性能评估主要依赖于三个关键指标：iops(input/output per second，每秒输入/输出操作数)、ops(operations per second，每秒操作数)和带宽(数据传输速率)。iops和ops通常与小块数据的i/o(input/output，输入/输出)操作相关，这类操作对网络的压力较小，但对后端处理速度有较高要求。相比之下，带宽则与大块数据的i/o操作相关，这类操作的瓶颈往往在于网络的吞吐能力，需要网络具备快速接收大量数据包的能力。存储场景的多样性包括小文件小io读写、大文件大io读写、大文件小io读写以及混合场景等。

2、因此针对不同场景，需要应用不同的调优方法，而现在的技术很难开发出一种通用的调优策略来满足所有存储场景的需求。

技术实现思路

1、本发明实施例的目的在于提供一种存储系统的参数配置方法、装置、设备及存储介质，对于不同场景，为分布式文件存储系统针对性的制定以及应用不同的调优策略，从而实现分布式文件存储系统以最优的性能提供服务具体技术方案如下：

2、在本发明实施的第一方面，首先提供了一种存储系统的参数配置方法，所述方法包括：

3、取报文请求；

4、对所述报文请求进行解析，得到所述报文请求对应的请求类型和参数信息；

5、利用预训练的输入输出模型对所述报文请求进行预测分析，得到预测结果，所述输入输出模型用于预测所述报文请求的读取模式；

6、基于所述预测结果制定针对所述分布式文件存储系统的优化策略；

7、依据所述优化策略对所述分布式文件存储系统进行参数配置。

8、可选的，所述对所述报文请求进行解析，包括：

9、根据预设的报文协议对所述报文请求进行解析，得到所述报文请求对应的头部信息，所述报文协议包含有报文格式和字段；

10、对所述头部信息进行识别，以得到所述报文请求的请求类型和参数信息，所述请求类型包括读写请求和元数据请求。

11、可选的，所述方法还包括：

12、在所述报文请求的请求类型为所述读写请求的情况下，从所述读写请求中提取出第一关键参数，所述第一关键参数包括文件标识符、读写偏移位置和读写长度；

13、在所述报文请求的请求类型为所述元数据请求的情况下，从所述元数据请求中提取出第二关键参数，所述第二关键参数包括文件标识符和文件属性信息。

14、可选的，所述输入输出模型通过如下方式生成：

15、获取初始预测模型和所述分布式文件存储系统的历史读取数据，并将所述历史读取数据划分为训练集和验证集，所述训练集中包含若干原始训练数据，所述验证集中包含若干原始验证数据；

16、对所述原始训练数据进行解析，并从所述原始训练数据中提取出每个所述原始训练数据对应的第一参数信息；

17、统计分析所述第一参数信息，以识别每个所述原始训练数据对应的第一读取模式；

18、依据所述原始训练数据和所述第一读取模式对所述初始预测模型进行训练，得到待验证模型；

19、对所述原始验证数据进行解析，并从所述原始验证数据中提取出每个所述原始验证数据对应的第二参数信息；

20、统计分析所述第二参数信息，以识别每个所述原始验证数据对应的第二读取模式；

21、将所述原始验证数据输入至所述待验证模型中进行预测，得到所述待验证模型输出的第三读取模式；

22、将所述第三读取模式与所述第二读取模式进行对比，当所述第三读取模式与所述第二读取模式完全相同时，确定所述待验证模型为输入输出模型。

23、可选的，在所述报文请求的请求类型为所述元数据请求的情况下，所述方法还包括：

24、获取所述分布式文件存储系统中的输入输出模型；

25、根据所述元数据请求对应的所述第二关键参数更新所述输入输出模型的属性信息。

26、可选的，在所述报文请求的请求类型为所述读写请求的情况下，所述利用预训练的输入输出模型对所述报文请求进行预测分析，包括：

27、将所述读写请求输入至所述输入输出模型进行预测，得到所述读写请求对应的读取模式。

28、可选的，所述基于所述预测结果确定针对所述分布式文件存储系统的优化策略，包括：

29、根据所述输入输出模型预测的读取模式，制定针对所述分布式文件存储系统的优化策略，所述优化策略至少包括调整所述分布式文件存储系统的缓存分布和网络线程。

30、在本发明实施的第二方面，还提供了一种存储系统的参数配置装置，应用于分布式文件存储系统，包括：

31、第一获取模块，用于获取报文请求；

32、第一解析模块，用于对所述报文请求进行解析，得到所述报文请求对应的请求类型和参数信息；

33、第一预测模块，用于利用预训练的输入输出模型对所述报文请求进行预测分析，得到预测结果；

34、策略制定模块，用于基于所述预测结果制定针对所述分布式文件存储系统的优化策略；

35、参数配置模块，用于依据所述优化策略对所述分布式文件存储系统进行参数配置。

36、在本发明实施的第三方面，还提供了一种通信设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；

37、所述处理器，用于读取存储器中的程序实现执行上述任一所述的存储系统的参数配置方法。

38、在本发明实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的存储系统的参数配置方法。

39、本发明实施例提供的存储系统的参数配置方法，通过获取报文请求，对报文请求进行解析，得到报文请求对应的请求类型和参数信息，利用预训练的输入输出模型对报文请求进行预测分析，得到预测结果，基于预测结果制定针对分布式文件存储系统的优化策略，并依据优化策略对分布式文件存储系统进行参数配置，本发明实施例通过为分布式文件存储系统针对性的制定以及应用不同的调优策略，保证分布式文件存储系统在各种场景下都以最优的性能提供服务。

技术特征：

1.一种存储系统的参数配置方法，其特征在于，应用于分布式文件存储系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述报文请求进行解析，包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述输入输出模型通过如下方式生成：

5.根据权利要求3所述的方法，其特征在于，在所述报文请求的请求类型为所述元数据请求的情况下，所述方法还包括：

6.根据权利要求3所述的方法，其特征在于，在所述报文请求的请求类型为所述读写请求的情况下，所述利用预训练的输入输出模型对所述报文请求进行预测分析，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述预测结果确定针对所述分布式文件存储系统的优化策略，包括：

8.一种存储系统的参数配置装置，其特征在于，应用于分布式文件存储系统，所述装置包括：

9.一种通信设备，其特征在于，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；

10.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任意一项所述存储系统的参数配置方法中的步骤。

技术总结本发明实施例提供了一种存储系统的参数配置方法，通过获取报文请求，对报文请求进行解析，得到报文请求对应的请求类型和参数信息，利用预训练的输入输出模型对报文请求进行预测分析，得到预测结果，基于预测结果制定针对分布式文件存储系统的优化策略，并依据优化策略对分布式文件存储系统进行参数配置，本发明实施例通过为分布式文件存储系统针对性的制定以及应用不同的调优策略，保证分布式文件存储系统在各种场景下都以最优的性能提供服务。技术研发人员：张佳利,陶帝豪受保护的技术使用者：济南浪潮数据技术有限公司技术研发日：技术公布日：2025/1/6