基于Weibull-Weibull分布的开源大数据系统软件可靠性建模方法

本发明属于计算机软件，具体涉及一种基于weibull-weibull分布的开源大数据系统软件可靠性建模方法。

背景技术：

1、近年来，大数据技术快速发展，给人们的生产生活带来了极大的便利。例如，特别是在电子商务、医疗保健、公共服务、金融等领域，开源大数据系统软件在海量数据的处理中发挥着重要作用。

2、常见的开源大数据系统软件(或组件)包括hadoop、hdfs、hive、pig、mahaut、mapreduce、yarn、zookeeper、hbase等，这些组件协同工作完成复杂的大数据分布式处理任务。这些部件的可靠性直接影响大数据处理的性能和质量。因此，这些组件的可靠性也受到了人们的关注。

3、有学者提出使用软件可靠性模型(srm)来评估开源大数据系统软件的可靠性。例如tamura等人研究了云计算环境下大数据系统故障的行为，提出了一种基于跳跃扩散的软件可靠性模型，并利用开源大数据系统软件故障数据集进行了模型参数估计、拟合和性能评估实验。考虑到大数据和云计算的特点，tamura和yamada提出了一种基于三维维纳过程的软件可靠性模型，并在大数据故障数据集上进行了相应的实验。tamura等人在中提出了大数据和云计算环境下基于三维故障数据聚类的软件可靠性分析方法。考虑到实际大数据处理与云计算之间的相关性，tamura等人通过研究大数据和云计算之间通信流量的变化，提出了一种基于三维随机微分方程的软件可靠性模型。tamura和yamada通过对云计算和大数据的研究，提出了一种故障检测率不规则变化的软件可靠性模型。考虑到大数据处理需要云计算环境，tamura和yamada提出了一种用于故障数据聚合和风险率变化的软件可靠性模型。考虑到组件、云计算和用户数量的变化，tamura和yamada提出了一种集成随机微分方程和跳跃扩散过程的软件可靠性模型。tamura等人考虑到云计算与大数据系统软件通过网络的密切关系，提出了一种基于故障数据聚类和神经网络的大容量云计算环境软件可靠性评估方法。

4、上述软件可靠性模型是在云计算背景下建立的，充分考虑了云计算存储与大数据通信之间的关系，并建立了相应的开源大数据系统软件可靠性模型，但是存在建模环境复杂的问题。因此，本发明采用直接建模的方法，建立面向开源大数据系统软件实际开发和测试环境的软件可靠性模型。

技术实现思路

1、通过研究开源大数据系统软件的故障数据集，发现开源大数据系统软件各版本在软件开发和测试后期检测到的故障数量明显增加，因此本发明提出了一种基于weibull-weibull分布的开源大数据系统软件可靠性模型建模方法，实验验证了所提模型的准确性和有效性。

2、为达到上述目的本发明采用了以下技术方案：

3、本发明提供了一种基于weibull-weibull分布的开源大数据系统软件可靠性建模方法，包括以下步骤：

4、步骤1，提出如下假设：

5、(1)开源大数据系统软件的故障检测流程服从非齐次泊松过程；

6、(2)发现的故障立即排除，不引入新的故障；

7、(3)开源大数据系统软件中检测到的故障与软件中剩余的故障相关；

8、(4)开源大数据系统软件的故障检测率服从weibull-weibull分布；

9、步骤2，基于假设(1)，将开源大数据系统软件检测到的故障行为视为一个计数过程，用n(t)表示，公式如下：

10、

11、其中，m(t)表示均值函数，即到时间t时预计累计检测到的故障数，n表示实际检测到的故障数；

12、可靠性的定义如下：

13、r(μ/t)＝exp[-(m(t+μ)-m(t))](2)

14、其中，μ表示一段时间；

15、步骤3，基于假设(3)，推导出如下方程：

16、

17、其中，b(t)表示风险率函数，a表示软件中最初存在总的故障数量；

18、步骤4，风险率函数由下式给出：

19、

20、其中，b、d和e表示形状参数，c表示尺度参数，f(x)表示累积分布函数，f(x)表示概率密度函数；

21、步骤5，基于假设(4)，将式(3)代入式(4)，得到提出模型的数学表达式：

22、m(t)＝a(1-exp(-b(exp(ctd)-1)e))(6)。

23、进一步，使用最小二乘法来估计所述提出模型的参数估计值。

24、再进一步，所述最小二乘法表示为：

25、

26、其中，o(tj)表示时间tj时实际检测到的故障数，j＝0，1，2，3，...，n；

27、对式(7)两边求偏导数，

28、

29、求解上述方程组即可得到模型的参数估计值。

30、与现有技术相比本发明具有以下优点：

31、1、首次提出考虑weibull-weibull分布的开源大数据系统软件软件可靠性模型。

32、2、开源大数据系统开发和软件测试后期发现的故障存在明显增加的现象。

33、3、开源大数据系统软件的故障检测服从weibull-weibull分布。

34、4、使用六个故障数据集和八个软件可靠性模型进行拟合和预测性能实验，实验结果表明，提出的模型比其他软件可靠性模型具有更好的拟合和预测性能。该模型能够准确有效地预测开源大数据系统软件测试过程中剩余故障的数量。还进行了95％的置信区间和参数敏感性分析，结果表明，提出模型的各个参数都是重要参数，并且所提出模型具有稳定的性能，该模型的参数在开源大数据系统软件的故障检测过程中发挥着重要作用。

技术特征：

1.基于weibull-weibull分布的开源大数据系统软件可靠性建模方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于weibull-weibull分布的开源大数据系统软件可靠性建模方法，其特征在于，使用最小二乘法来估计所述提出模型的参数估计值。

3.根据权利要求2所述的基于weibull-weibull分布的开源大数据系统软件可靠性建模方法，其特征在于，所述最小二乘法表示为：

技术总结本发明属于计算机软件技术领域，具体涉及一种基于Weibull‑Weibull分布的开源大数据系统软件可靠性建模方法。考虑到开源大数据系统软件在软件开发和测试过程中，在测试后期检测到的故障数量显着增加，本发明提出如下假设：(1)开源大数据系统软件的故障检测流程服从非齐次泊松过程；(2)发现的故障立即排除，不引入新的故障；(3)开源大数据系统软件中检测到的故障与软件中剩余的故障相关；(4)开源大数据系统软件的故障检测率服从Weibull‑Weibull分布。进而采用直接建模的方法，建立面向开源大数据系统软件实际开发和测试环境的软件可靠性模型。技术研发人员：王金勇,李鹏达受保护的技术使用者：山西大学技术研发日：技术公布日：2024/11/18