多维网络指标的关联规则分析方法、设备和存储介质与流程

1.本发明涉及网络运维技术领域，尤其涉及一种多维网络指标的关联规则分析方法、设备和存储介质。


背景技术：

2.为了给用户提供高质量的网络服务，需要对网络中的异常和不可控的变化进行监测，维护网络正常、稳定地运行。目前的监测方法是利用数据挖掘算法挖掘指标数据的关联规则，根据挖掘算法输出的频繁项集对未来网络的状态进行预判，监测网络中的异常和不可控的变化。
3.然而，直接将挖掘算法输出的频繁项集作为海量时序指标的关联结果，只能描述网络指标之间简单的关联关系，使得关联结果不足以对未来网络进行准确的预判。


技术实现要素：

4.本发明实施例的主要目的在于提出一种多维网络指标的关联规则分析方法、设备和存储介质，达到对关联规则挖掘直接获取的频繁项集进一步分析，确定网络指标关联关系的强度，获取网络指标的强关联关系的目的。
5.为实现上述目的，本发明实施例提供了一种多维网络指标的关联规则分析方法，所述方法包括以下步骤：对获取到的指标数据进行映射，获取数据序列；对所述数据序列进行关联规则挖掘，获取预先选取的目标指标的关联指标集，其中，所述关联指标集是与所述目标指标具有关联关系的网络指标组成的集合；获取所述关联指标集中的每一个指标与所述目标指标的相关系数；根据所述相关系数进行分析，获取所述目标指标的关联结果。
6.为实现上述目的，本发明实施例还提出了一种多维网络指标的关联规则分析设备，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现前述方法的步骤。
7.为实现上述目的，本发明提供了一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
8.本发明提出的多维网络指标的关联规则分析方法、设备和存储介质，其通过对获取到的指标数据进行映射，获取数据序列，改变数据的形式，从而改善关联规则挖掘的效果，挖掘数据序列的关联规则，根据挖掘得到的关联规则获取预先选取的目标指标的关联指标集，并获取所述关联指标集中的每一个指标与所述目标指标的相关系数，根据所述相关系数进行分析，获取目标指标的关联结果，在挖掘关联规则后增加统计分析方法对关联规则进一步分析，获取更加准确的指标间的关联关系。可见，本技术方案，其可达到对关联规则挖掘直接输出的频繁项集进一步分析，确定网络指标关联关系的强度，获取网络指标的强关联关系的目的，解决了关联结果不足以对未来网络进行准确的预判的问题。
附图说明
9.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
10.图1是本发明的第一实施方式提供的多维网络指标的关联规则分析方法的流程图；
11.图2是本发明的第二实施方式提供的多维网络指标的关联规则分析方法的流程图；
12.图3是图2所示的本发明的第二实施方式提供的多维网络指标的关联规则分析方法中步骤202的流程图；
13.图4是本发明的第三实施方式提供的多维网络指标的关联规则分析方法的流程图；
14.图5是图4所示的本发明的第三实施方式提供的多维网络指标的关联规则分析方法中步骤401的流程图；
15.图6是本发明的第四实施方式提供的多维网络指标的关联规则分析方法的流程图；
16.图7是本发明的第五实施方式提供的多维网络指标的关联规则分析方法的流程图；
17.图8是本发明的第六实施方式提供的设备的结构示意图。
具体实施方式
18.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施例中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
19.本发明的第一实施方式涉及一种多维网络指标的关联规则分析方法，其流程如图1所示，包括：
20.步骤101，对获取到的指标数据进行映射，获取数据序列。
21.在本实施方式中，指标是多维网络指标，可以包括：反映网络各类资源对象的运行状态指标和反映业务流量及质量的性能指标，其中，反映网络各类资源对象的运行状态指标可以包括：板卡上的cpu利用率、内存利用率、温度等，端口上的光功率、偏置电流等；反映业务流量及质量的性能指标可以包括：流量、流速、带宽、时延、抖动、丢包等。当然，以上仅为具体的举例说明，在实际的使用过程中播放配置参数还可以包括其他网络指标，此处不做一一赘述。
22.本实施方式不对映射进行限定，在实际的使用过程中，映射可以为任意一种能够对指标数据进行映射的方法。
23.步骤102，对数据序列进行关联规则挖掘，获取预先选取的目标指标的关联指标
集，其中，关联指标集是与目标指标具有关联关系的网络指标组成的集合。
24.在本实施方式中，目标指标的选取是根据应用时的具体情况，选取当前需要关注的网络指标。在实际的使用过程中，目标指标可以一次选定后保持不变，也可以是对选定的目标指标进行更换。
25.在本实施方式中，关联规则挖掘采用的方法可以包括：apriori算法、fp-growth算法、prefixspan算法、eclat算法等。当然，以上仅为具体的举例说明，在实际的使用过程中关联规则挖掘采用的方法还可以包括其他方法，此处不做一一赘述。
26.步骤103，获取关联指标集中的每一个指标与目标指标的相关系数。
27.本实施方式不对相关系数进行限定，在实际的使用过程中，相关系数可以为任意一种能够反映指标关联强度的系数。由于相关系数的具体获取过程会随着相关系数的定义不同而产生不同，因此在实际的使用过程中，可以是任意一种与相关系数相对应的获取方法，例如相关系数为斯皮尔曼相关系数，相关系数通过公式：其中，x和y是不同的两个网络指标的数据的等级，且等级是通过对某个指标的所有数据进行排序，根据排序的顺序获取的，i表示观测值的顺序，n是观测值的总数量。
28.步骤104，根据相关系数进行分析，获取目标指标的关联结果。
29.在本实施方式中，分析相关系数可以是设定一个阈值，根据阈值和相关系数的大小关系对目标指标之间关联关系的强度进行判断。而且阈值可以是统一为所有指标关联关系设定，也可以是进一步地根据各个指标的先验知识分别设定，阈值可以时一个常数，也可以是一个变化的函数。例如，将所有指标的阈值统一设定为0.5，那么当目标指标和某个指标的相关系数为0.6时，认为它们的关联强度较高，具有强关联关系，当目标指标和某个指标的相关系数为0.45时，认为它们的关联强度没那么高。
30.本发明实施方式相对于现有技术而言，通过对获取到的指标数据进行映射，获取数据序列，改变数据的形式，从而改善关联规则挖掘的效果，挖掘数据序列的关联规则，根据挖掘得到的关联规则获取预先选取的目标指标的关联指标集，并获取所述关联指标集中的每一个指标与所述目标指标的相关系数，根据所述相关系数进行分析，获取目标指标的强关联关系，在挖掘关联规则后增加统计分析方法对关联规则进一步分析，获取更加准确的指标间的关联关系。可见，本技术方案，其可达到对关联规则挖掘直接输出的频繁项集进一步分析，确定网络指标关联关系的强度，获取网络指标的强关联关系的目的，解决关联结果不足以对未来网络进行准确的预判的问题。
31.本发明的第二实施方式涉及一种多维网络指标的关联规则分析方法，该方法与本发明的第一实施例提供的多维网络指标的关联规则分析方法基本相同，其区别在于，如图2所示，步骤101包括：
32.步骤201，对指标数据进行模糊映射，获取指标数据的状态隶属度。
33.在本实施方式中，模糊映射的方法可以是高斯函数：其
中，指标数据x
ij
表示x
ij
是第j个指标获取的第i个数据，aj和σj分别是高斯函数的两个调节参数，更具体的说aj和σj可以是第j个指标采集到的数据的均值和标准差。当然，以上仅为具体的举例说明，在实际的使用过程中，模糊映射的方法还可以包括其他映射，高斯函数的两个调节参数还可以所有指标统一设置或者根据先验知识分别进行设置，此处不做一一赘述。
34.需要说明的是，在本实施方式中，映射得到数值使用与描述数据的状态的，由于采用的映射是模糊映射，因此映射得到数值不能直接确定指标数据的状态，需要分析后确定。
35.步骤202，根据状态隶属度确定指标数据的状态，其中，状态包括正常状态，告警状态，异常状态。
36.具体地，如图3所示，步骤202可以包括：
37.步骤301，将状态隶属度的取值区间划分为状态正常区间，状态异常区间，状态告警区间；
38.步骤302，检测状态隶属度是否落入状态正常区间。
39.步骤303，若是，确定指标数据的状态是正常状态。
40.步骤304，若否，检测状态隶属度是否落入状态告警区间。
41.步骤305，若是，确定所述指标数据的状态是所述异常状态。
42.步骤306，若否，确定指标数据的状态是所述告警状态。
43.本实施例方式不对取值区间的划分依据进行限定，在实际的使用过程中可以根据需要设置划分策略，例如：将所有指标的状态正常区间、状态异常区间、状态告警区间统一设置为[0.5，1]、[0.3，0.5)、[0，0.3)等，此处不进行一一赘述。
[0044]
步骤203，根据指标数据和指标数据的状态获取数据序列。
[0045]
需要说明的是，数据序列中的数据包含指标数据和指标数据对应的状态，也就是数据序列中的每个数据的格式是指标数据-状态。
[0046]
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，由于在指标数据中引入数据的状态，获取数据-数据状态的数据序列，将关联规则挖掘的对象从指标数据本身扩展为指标数据和指标数据对应的状态，使得挖掘到的关联规则内涵更加丰富。
[0047]
本发明的第三实施方式涉及一种多维网络指标的关联规则分析方法，该方法与本发明的第一实施例提供的多维网络指标的关联规则分析方法基本相同，其区别在于，如图4所示，步骤102包括：
[0048]
步骤401，对数据序列进行关联规则挖掘，获取数据序列的最大频繁项集。
[0049]
具体地，如图5所示，步骤401可以包括：
[0050]
步骤501，根据数据序列，获取候选1项集c1和候选1项集对应的支持度。
[0051]
步骤502，删除支持度小于预设的支持度的候选1项集，获取频繁1项集l1。
[0052]
步骤503，设定迭代计数值k的初始值为1。
[0053]
步骤504，将迭代计数值k加1。
[0054]
步骤505，对频繁k-1项集l
k-1
进行自连接，获取候选项集ck。
[0055]
步骤506，根据数据序列获取候选项集ck的支持度，删除支持度小于预设的支持度的候选项集ck，获取频繁k项集lk。
[0056]
步骤507，判断频繁k项集lk是否为空集，若否，返回步骤504，若否，进入步骤58。
[0057]
步骤508，将频繁k-1项集l
k-1
作为最大频繁项集。
[0058]
在本实施方式中，预设的支持度一般为5％～10％，置信度的阀值一般为70％～90％，提升度一般设置为大于1。
[0059]
需要说明的是以上为挖掘关联规则的原理，在实际使用的过程中，可以基于以上的原理在迭代方式上进行了改进以提升算法执行效率。
[0060]
步骤402，选取目标指标。
[0061]
在本实施方式中，目标指标的选取是根据应用时的具体情况，选取当前需要关注的网络指标。在实际的使用过程中，目标指标可以一次选定后保持不变，也可以是对选定的目标指标进行更换。
[0062]
步骤403，根据目标指标从最大频繁项集中获取关联指标集。
[0063]
需要说明的是，最大频繁项集一般不仅包括目标指标的关联规则，还有目标指标之外的其他指标的关联规则，我们主要关注的是目标指标和目标指标的潜在关系，因此，可以剔除与目标指标无关的指标，只对目标指标和与目标指标具有关联关系的指标进行分析，以减轻分析的计算量。
[0064]
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，由于剔除与目标指标无关的指标，使得需要分析的指标数量减少，分析的计算量也减少。
[0065]
本发明的第四实施方式涉及一种多维网络指标的关联规则分析方法，该方法与本发明的第一实施例提供的多维网络指标的关联规则分析方法基本相同，其区别在于，如图6所示，步骤103包括：
[0066]
步骤601，获取目标指标和关联指标集中的每一个指标的观测值，其中，观测值是观测得到的指标的时间连续参数值。
[0067]
在本实施方式中，不对观测值的具体观测方式和观测时间进行限定，但是观测值也不能是没有参考价值的数据，例如，将一年之前观测到的数据作为观测值。
[0068]
需要说明的是，获取关联指标集只能够得到简单的目标指标的关联关系，如果需要进一步地对关联关系进行分析，则需要获取待分析指标的观测值，根据观测值进行具体的分析。
[0069]
步骤602，根据观测值计算目标指标关联指标集的相关系数。
[0070]
在本实施方式中，选取相关系数为斯皮尔曼相关系数，那么获取的过程是直接根据斯皮尔曼相关系数的标准计算公式获取。
[0071]
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，由于使用斯皮尔曼相关系数，使得对具有时序性的网络指标的相关性描述更加具体、准确。
[0072]
为了使本领域技术人员能够更清楚地理解以上本发明第一至四实施方式公开的多维网络指标的关联规则分析方法整体流程，本发明第五实施方式以具体实现步骤为例进行说明。
[0073]
如图7所示，本发明的第五实施方式提供的多维网络指标的关联规则分析方法，包括：
[0074]
步骤701，确定目标指标，采集τ个时隙下的n个指标的数据。
[0075]
在本实施方式中，更具体地说，可以采集6个网络指标a，b，c，d，e，f的数据，目标指标确定为指标d，数据表示为；x＝(x1，x2，...，x
τ
)
t
，其中，xk＝(x1，x2，...，xn)。
[0076]
步骤702，将每个指标的所有数据的数学期望和标准差分别作为高斯函数的两个调整参数，计算所有数据的状态隶属度。
[0077]
步骤703，设定所有指标统一的异常区间、告警区间和正常区间，根据确定的指标数据的状态，构建序列数据库。
[0078]
在本实施方式中，更具体地说，设定[0，0.3)是异常区间y，[0.3，0.5)是告警区间g，[0.5，1]是正常区间z，可以得到的序列数据库如下：
[0079][0080][0081]
步骤704，设置apriori算法中的最小支持度、最小置信度和提升度大于1，遍历整个数据库，调用关联规则apriori算法挖掘数据库的最大频繁项集，并在最大频繁项集中选取满足设定的置信度和提升度的指标组成关联规则。
[0082]
在本实施方式中，更具体地说，最小支持度为10％，最小置信度为60％，提升度大于1，可以得到如下的关联指标集：
[0083]
编号规则支持度置信度提升度1a-y＝＞d-y0.2670.8412.4512a-g，b-y＝＞d-g0.1850.6871.3283b-y，f-y＝＞d-g0.2110.7981.432
[0084]
步骤705，根据关联规则确定关联指标集，并获取目标指标和关联指标集中的每一个指标的n个观测值。
[0085]
在本实施方式中，更具体地说，关联指标集为{a，b，f，d}，观测值组成连续观测值序列，如指标a的连续观测值序列为a＝{a1，a2，...，an}、指标d的连续观测值序列为d＝{d1，d2，...，dn}。
[0086]
步骤706，分别对指标的n个观测值进行排序，获取观测值的等级，并将观测值等级带入斯皮尔曼相关系数求取公式，计算相关系数并分析得到关联结果。
[0087]
在本实施方式中，更具体地说，以指标a和指标d为例子，对a＝{a1，a2，...，an}集合内的数据进行排序，排列得到的序号为等级ai，对d＝{d1，d2，...，dn}集合内的数据进行排序，排列得到的序号为等级di。带入斯皮尔曼相关系数计算公式：
得到ρ＝0.864，分析认为指标a和指标d具有正相关的强关联关系。
[0088]
本发明第六实施方式涉及一种设备，如图8所示，包括：
[0089]
至少一个处理器801；以及，
[0090]
与所述至少一个处理器801通信连接的存储器802；其中，
[0091]
所述存储器802存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器801执行，以使所述至少一个处理器801能够执行本发明第一至第五实施方式所述的多维网络指标的关联规则分析方法。
[0092]
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
[0093]
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0094]
本发明第七实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
[0095]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0096]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。