一种硬盘故障预测方法及系统

本发明涉及硬盘预测的，尤其涉及一种硬盘故障预测方法及系统。

背景技术：

1、硬盘是目前数据中心使用的主要存储方式之一。然而，硬盘故障是导致数据中心故障的主要原因。硬盘故障不仅会导致数据丢失，还会导致数据中心崩溃，给用户和企业造成不可估量的损失。有效预测硬盘的剩余使用寿命(rul)是数据中心健康管理中的关键因素。管理员可以制定有效的维护计划，确保硬盘能够正常工作，避免系统崩溃。

2、目前，应用于大数据的机器和深度学习算法越来越受欢迎，特别是基于自我监测、分析和报告技术(smart)的模型。在硬盘故障预测中，smart数据是连续的，具有时间依赖性。因此，使用长短期记忆网络(lstm)的深度学习方法来分析这些数据是一种自然的选择，并且可以在预测rul方面获得很好的结果。然而，利用lstm网络的方法仅根据最后一步学习到的特征进行分类，分类较为单一，导致硬盘故障预测准确率较差，从而硬盘使用成本增加。

3、此外，现有硬盘预测技术的计算量较大，在计算能力有限的情况下，导致硬盘故障预测效率较低，且现有的硬盘故障预测技术中的召回率较高，导致误检测率较高，从而硬盘故障预测的工作量增大。现有技术中提出了一种硬盘故障预测方法，首先获取各个硬盘的smart值，将smart值输入训练过的深度信念网络dbn模型，得到各个硬盘的故障预警时间，根据故障预警时间，设置各个硬盘的故障告警级别，解决了硬盘故障预测的准确度低的缺陷，但该方案仍存在计算能力有限，导致硬盘故障预测效率较低，以及召回率较低，导致误检测率较高，从而硬盘故障预测的工作量增大的问题。

技术实现思路

1、为解决现有硬盘预测技术中存在硬盘故障预测效率较低和计算能力有限，导致误检测率较高，从而硬盘故障预测工作量增大的问题，本发明提出一种硬盘故障预测方法及系统，有效解决提高了计算能力、硬盘故障预测效率以及召回率，并降低了误检测率，从而减轻了硬盘故障预测的工作量。

2、为实现本发明的目的，本发明采用如下技术方案实现：

3、一种硬盘故障预测方法，包括以下步骤：

4、s1：获取若干个硬盘的smart数据，对所述smart数据进行预处理；

5、s2：对预处理后的smart数据进行赋值，将得到的smart数据对应的赋值划分为若干个阈值，根据划分的若干个阈值对硬盘进行若干个健康等级划分；

6、s3：构建硬盘故障预测模型，所述硬盘故障预测模型包括：lstm网络层、注意力机制层、额外特征提取层、全连接层以及融合与分类层，将预处理后的smart数据划分为训练集与测试集，利用训练集对硬盘故障预测模型进行故障预测训练，利用测试集对完成每轮次训练的硬盘故障预测模型进行测试，得到训练好的硬盘故障预测模型；

7、s4：利用训练好的硬盘故障预测模型对待预测的硬盘进行故障预测，以步骤s2中每一个健康等级对应的阈值为标准，将硬盘故障预测模型的预测结果按健康等级进行分类输出；

8、s5：根据硬盘故障预测模型输出的健康等级预测结果，对所述硬盘故障预测模型进行评估。

9、在上述技术方案中，对获取的smart数据进行预处理，能够提高所述smart数据在使用过程中的可靠性；然后对预处理后的smart数据进行赋值，能够从数据上直观的了解到不同硬盘的smart数据的区别，根据预处理后的smart数据对硬盘进行若干个健康等级划分，能够有效地将不同使用程度的硬盘进行区分，提升每个硬盘的使用时间，进而减小经济损失；然后利用预处理后的smart数据对构建的硬盘故障预测模型进行训练与测试，得到训练完成的硬盘故障预测模型能够有效地对待预测的硬盘进行故障预测，并以每一个健康等级对应的阈值为标准，将硬盘故障预测模型的预测结果按健康等级进行分类输出，有效地提高了模型的计算能力与硬盘故障预测效率，最后，根据硬盘故障预测模型的预测结果，对硬盘故障预测模型进行评估，保证硬盘故障预测模型的有效性，进而提高硬盘故障预测的召回率，降低误检测率，从而减轻了硬盘故障预测的工作量。

10、进一步地，步骤s1所述的对所述smart数据进行预处理的具体过程为：

11、s11：获取若干个健康硬盘与故障硬盘的smart数据，剔除所述smart数据中的空值点，采用随机森林算法对剔除空值点后的smart数据进行特征筛选，得到若干个特征；

12、s12：对若干个特征对应的smart数据进行正负样本平衡处理。

13、进一步地，步骤s12所述的对若干个特征对应的smart数据进行正负样本平衡处理的过程为：

14、对健康硬盘的smart数据进行欠采样，对故障硬盘的smart数据进行过采样，平衡健康硬盘与故障硬盘的smart数据比例。

15、根据上述技术方案，剔除所述smart数据中的空值点，能够减少零点数据的使用，从而减少计算时间；采用随机森林算法对剔除空值点后的smart数据进行特征筛选，能够避免过拟合，减少训练时间和测试时间，从而得到与硬盘故障数据最相关的若干个特征，进而得到若干个特征对应的smart数据；然后对若干个特征对应的smart数据进行正负样本平衡处理，能够减少smart数据不平衡对硬盘故障预测模型训练过程中的影响。

16、进一步地，步骤s2所述的根据划分的若干个阈值对硬盘进行若干个健康等级划分的具体过程为：

17、采用回归树算法对预处理后的smart数据进行赋值，得到smart数据对应的赋值，将所述smart数据对应的赋值划分为第一阈值、第二阈值、第三阈值以及第四阈值，根据划分的第一阈值、第二阈值、第三阈值以及第四阈值对硬盘进行健康等级划分，处于第一阈值内的硬盘健康等级为健康，处于第二阈值内的硬盘健康等级为良好，处于第三阈值内的硬盘健康等级为警告，处于第四阈值内的硬盘健康等级为报警。

18、根据上述技术方案，对预处理后的smart数据进行赋值，并将smart数据的赋值划分为第一阈值、第二阈值、第三阈值以及第四阈值，能够从数据上直观的了解到不同硬盘的smart数据的区别，根据第一阈值、第二阈值、第三阈值以及第四阈值将硬盘划分为健康、良好、警告以及报警等四个健康等级，能够有效地将不同使用程度的硬盘进行区分，提升每个硬盘的使用时间，进而减小经济损失。

19、进一步地，在步骤s3构建的硬盘故障预测模型中：

20、lstm网络层，用于提取smart数据的时间步长特征，将提取的时间步长特征传输至注意力机制层；

21、注意力机制层，用于根据时间步长特征进行时间步长的重要性度特征提取，并将提取的重要性特征与时间步长特征进行融合，将融合后得到的特征传输至全连接层；

22、额外特征提取层，用于提取smart数据的额外特征，将提取的额外特征传输至全连接层；

23、全连接层，用于分别对融合后的特征与额外特征进行高级特征提取，将提取的高级特征传输至融合与分类层；

24、融合与分类层，用于将高级特征进行融合，并根据融合后的高级特征进行健康等级分类，并输出健康等级分类结果。

25、根据上述技术方案，构建的硬盘故障预测模型能够利用包括的lstm网络层、注意力机制层、额外特征提取层、全连接层以及融合与分类层之间的相互配合，有效地对待检测的硬盘进行硬盘故障预测。

26、进一步地，步骤s3所述的利用训练集对硬盘故障预测模型进行故障预测训练的具体过程为：

27、设训练轮次数上限为n，将预处理后的smart数据划分为训练集t1与测试集t2；

28、s31：将训练集t1输入硬盘故障预测模型，利用lstm网络层提取训练集t1中的时间步长特征h，表达式为：

29、h＝{h1,h2,....ht}τ；

30、其中，{}τ表示转置运算，hi表示第i个时间步长状态；

31、利用额外特征提取层对训练集t1中所有数据特征求平均，将求取出的均值作为额外特征；

32、s32：利用注意力机制层对时间步长特征h的第i个时间步长进行重要性学习，得到第i个时间步长的重要性si，表达式为：

33、si＝φ(wτhi+b)；

34、采用softmax函数对所述重要性si进行归一化，得到时间步长特征h的第i个时间步长重要性特征ai，表达式为：

35、

36、其中，w表示权重矩阵，b表示偏差，φ(·)表示激活函数，α＝{a1,a2,...,at}，a表示重要性特征；

37、将时间步长特征与重要性特征进行融合，得到融合后的特征c，表达式为：

38、

39、s33：利用全连接层分别提取特征c与额外特征的高级特征；

40、s34：利用融合与分类层将特征c对应的高级特征与额外特征对应的高级特征进行融合，根据融合后的高级特征进行健康等级分类；

41、s35：利用损失函数crossentropyloss对硬盘故障预测模型中的参数进行优化，利用测试集t2对硬盘故障预测模型每轮的健康等级分类结果进行测试，当损失函数crossentropyloss的值收敛或训练达到训练轮次数上限值时，得到训练完成的硬盘故障预测模型。

42、利用训练集t1对所述硬盘故障预测模型进行故障预测训练时，采用自适应优化器adam。

43、在上述技术方案中，利用训练集t1对硬盘故障预测模型进行训练的过程中，设训练轮次数上限为n，能够保证训练得到的硬盘故障预测模型满足硬盘故障预测的要求；利用lstm网络层提取训练集t1中的时间步长特征h，并利用额外特征提取层对训练集t1中所有数据特征求平均，将求取出的均值作为额外特征，能够减小数据处理的时间，利用注意力机制层对时间步长特征h的第i个时间步长进行重要性学习，并将学习到的第i个时间步长的重要性si归一化，得到时间步长特征h的第i个时间步长重要性特征ai，能够有效地的减小计算复杂度，提升计算能力，利用全连接层分别提取特征c与额外特征的高级特征，能够提高硬盘故障预测模型的预测精度，利用融合与分类层将特征c对应的高级特征与额外特征对应的高级特征进行融合，能够进一步提升硬盘故障预测模型对硬盘进行故障预测的准确度，并提高召回率，利用损失函数crossentropyloss对硬盘故障预测模型中的参数进行优化，并利用测试集t2对硬盘故障预测模型每轮的健康等级分类结果进行测试，能够有效保证训练得到的硬盘故障预测模型符合硬盘故障预测的要求，从而减小硬盘故障预测的工作量。

44、进一步地，步骤s4所述的利用训练好的硬盘故障预测模型对待预测的硬盘进行故障预测的具体过程为：

45、将待预测的硬盘的smart数据输入至训练好的硬盘故障预测模型，利用硬盘故障预测模型提取smart数据中的特征值，并根据提取的特征值，对硬盘进行健康等级划分，过程为：

46、当提取的特征值处于第一阈值内时，表示硬盘的健康等级为健康；

47、当提取的特征值处于第二阈值内时，表示硬盘的健康等级为良好；

48、当提取的特征值处于第三阈值内时，表示硬盘的健康等级为警告；

49、当提取的特征值处于第四阈值内时，表示硬盘的健康等级为报警。

50、进一步地，步骤s5所述的对所述硬盘故障预测模型进行评估的过程为：

51、对所述硬盘故障预测模型进行正确率accuracy、精确率precision、召回率recall以及f1分数评估，表达式满足：

52、

53、

54、

55、

56、对所述硬盘故障预测模型进行预测率评估，设评估指标为fdr与far，表达式为：

57、

58、

59、其中，fdr表示被正确归类为故障的故障硬盘的比例；far表示被错误归类为故障的健康的比例；tp表示在所有健康硬盘样本中，预测为健康硬盘的比例；tn表示在所有故障硬盘样本中，预测为故障硬盘的比例；fp表示在所有故障硬盘样本中，预测为健康硬盘的比例；fn表示在所有健康硬盘样本中，预测为故障硬盘的比例。

60、根据上述技术方案，对硬盘故障预测模型的预测结果进行不同指标的评估，能够保证训练得到的硬盘故障预测模型能够满足实验要求的各项指标，进而得到一个符合硬盘故障预测要求的硬盘故障预测模型。

61、一种硬盘故障预测系统，其特征在于，包括：

62、获取模块，用于获取若干个硬盘的smart数据；

63、处理模块，用于对所述smart数据进行预处理；

64、所述处理模块，还用于对预处理后的smart数据进行赋值，将得到的smart数据对应的赋值划分为若干个阈值，根据划分的若干个阈值对硬盘进行若干个健康等级划分；

65、构建模块，用于构建硬盘故障预测模型，所述硬盘故障预测模型包括：lstm网络层、注意力机制层、额外特征提取层、全连接层以及融合与分类层；

66、划分模块，用于将预处理后的smart数据划分为训练集与测试集；

67、所述处理模块，还用于利用训练集对硬盘故障预测模型进行故障预测训练，利用测试集对完成每轮次训练的硬盘故障预测模型进行测试；

68、预测模块，用于利用训练好的硬盘故障预测模型对待预测的硬盘进行故障预测，以每一个健康等级对应的阈值为标准，将硬盘故障预测模型的预测结果按健康等级进行分类输出；

69、评估模块，用于根据硬盘故障预测模型输出的健康等级分类预测结果，对所述硬盘故障预测模型进行性能评估。

70、相比现有技术，本发明的有益效果在于：

71、本发明提出一种硬盘故障预测方法及系统，首先，对获取的smart数据进行预处理，能够提高所述smart数据在使用过程中的可靠性；然后对预处理后的smart数据进行赋值，能够从数据上直观的了解到不同硬盘的smart数据的区别，根据预处理后的smart数据对硬盘进行若干个健康等级划分，能够有效地将不同使用程度的硬盘进行区分，提升每个硬盘的使用时间，进而减小经济损失；其次利用预处理后的smart数据对构建的硬盘故障预测模型进行训练与测试，得到训练完成的硬盘故障预测模型能够有效地对待预测的硬盘进行故障预测，并以每一个健康等级对应的阈值为标准，将硬盘故障预测模型的预测结果按健康等级进行分类输出，有效地提高了模型的计算能力与硬盘故障预测效率，最后，根据硬盘故障预测模型的预测结果，对硬盘故障预测模型进行评估，保证硬盘故障预测模型的有效性，进而提高硬盘故障预测的召回率，降低误检测率，从而减轻了硬盘故障预测的工作量。