一种基于变分自编码器的无线网络中断检测方法

本发明属于无线通信中的网络自动驾驶，具体涉及适用于网络故障智能检测与恢复系统的中断检测方法。

背景技术：

1、随着移动通信网络的快速发展，网络结构日益复杂，网络参数也急剧增加，人工检测和恢复因小区中断而造成的故障需要极大的成本。包含网络智能部署、网络智能优化、网络故障智能检测与恢复的网络自动驾驶是解决这些问题的关键技术。作为网络自动驾驶的重要组成部分，小区中断检测在网络故障智能检测与恢复技术中发挥着重要作用。基于机器学习的小区中断检测方法得到广泛应用。根据所采用机器学习方法的不同，中断检测可分为两类：基于监督学习的中断检测和基于无监督学习的中断检测。基于监督学习的中断检测方法一般由训练和预测两个阶段组成。在训练阶段，每一个训练样本都由一个输入数据和期望输出的标签组成。通过训练，监督学习模型学习从输入数据到输出数据间的映射关系，从而完成预测。但在无线网络中，只有少部分地区的数据集有标签，对于大部分事先没有数据标签的区域，仍需要人工添加标签，导致基于监督学习的中断检缺少普适性。此外，有中断的发生是小概率事件，与中断相关的数据数量远少于正常数据。在这种情况下，直接利用机器学习进行分类得到的结果会偏向于多数类，中断检测性能会因为数据不平衡问题显著下降。

2、为了解决这些问题，现有研究引入了k均值算法(k-means)，扩散映射(diffusionmap)，局部离群因子(local outlier factor,lof)等方法对无标签的中断数据直接进行聚类或者降维，将数据分成正常数据和中断数据两簇。然而，当数据不平衡的比例较大时，中断检测性能仍然有待提高。

3、本发明针对上述问题，提出了一种基于变分自编码器(variational auto-encoder,vae)的中断检测方法，该方法结合了vae和k均值算法(k-means)的性能优势，解决了基于无监督机器学习的中断检测方法精度不高的问题，同时在数据不平衡的情况下也有良好表现。

技术实现思路

1、技术问题：本发明的目的是提出一种基于变分自编码器的无线网络中断检测方法，一方面通过vae对无标签数据提取特征，另一方面利用k均值算法(k-means)，将vae对每个数据提取出的特征均值进行聚类。相较于传统无监督检测方法以及数据聚类方法，本方法中断检测性能显著改善。

2、技术方案：本发明的基于变分自编码器的无线网络中断检测方法包括如下步骤：

3、第一步：搜集无线通信系统关键性能指标kpi(key performance indicator)，并形成数据集xi∈rk；其中m为数据集x中元素个数，(xi,yi)是x中第i个元素，i＝1,2,...,n，xi∈rk表示某个用户在某时刻上报的k维关键性能指标kpi信息，yi是xi的标签，表示服务该用户的基站的状态，可用于之后无标签训练的结果对照。

4、第二步：对数据集x进行数据预处理得到数据集xi∈rk，数据集x′就是用来训练的无标签数据集，使用变分自编码器vae学习数据集x′的分布特征，使网络能够提取数据集x′的特征并生成以生成具有与数据集x′的特征类似的数据，记录数据集x′的分布特征，vae由编码器e、解码器d组成；

5、第三步：利用第二步中vae学习的特征均值分布作为之后聚类的参数，组成新的数据集v；

6、第四步：规定簇的数目m以及最大迭代次数n，利用k均值算法(k-means)对数据集v进行聚类；

7、第五步：聚类完成后，按照每个簇含有的数据个数定义标签，数据量少的为中断类型得到输出集合yi′∈r1，xi是数据集x中的元素，y′是xi对应预测的标签，如果y′∈{1，2,3}，则xi为中断数据。

8、其中，

9、所述第一步：搜集无线通信系统关键性能指标kpi，并形成数据集x，具体为：

10、通过最小化路测方法mdt(minimization of drive-tests)获取无线通信系统中t秒内用户上报的kpi信息，并形成数据集xi∈rk；其中m为数据集x中元素个数，(xi,yi)是x中第i个元素，i＝1,2,...,n；xi∈rk表示某个用户在某时刻上报的k维关键性能指标kpi信息，kpi具体包括块错误率bler(block error rate)、参考信号接收功率rsrp(reference signal received power)、参考信号接收质量rsrq(reference signalreceiving quality)、接收信号的强度指示rssi(received signal strengthindicator)、吞吐量、信干噪比sinr(signal noise ratio)；yi是xi的标签，表示服务该用户的基站的状态，记录后可用于之后无标签训练的结果对照。基站状态分为正常和中断两类，中断基站又根据中断程度的不同被进一步分为轻度中断、中度中断和重度中断；因此，yi是一个一维变量，取值范围是yi∈{0,1,2,3}；yi＝0表示基站处于正常状态，此时接受到的kpi数值在正常范围内；yi＝1表示基站处于轻度中断状态，此时接受到的kpi数值轻微超出正常范围，yi＝2表示基站处于中度中断状态，基站性能下降严重，此时接受到的kpi数值远远超出正常范围；yi＝3表示基站处于重度中断状态，此时接受到的kpi数值异常。

11、所述第二步包括以下流程：

12、步骤2.1，数据预处理：

13、对数据集x中的元素(xi,yi)进行最值归一化，归一化后的kpi数据取值范围是[-1,1]，只保留归一化后的元素(xi′,yi)中的xi′形成新的数据集x′，数据集x′就是用来训练的无标签数据集，数据集x的标签yi可用作数据集x′训练后的结果对比。

14、

15、xik′是归一化后的数据集x′中第i个元素xi′的第k维kpi的取值；

16、步骤2.2，定义vae的目标函数，设置训练参数：

17、vae的目标函数如下所示：

18、

19、其中，kl(p(x,z)||q(x,z))是两个概率分布p(x,z)和q(x,z)的kl散度(kullback-leibler divergence)，x是输入的真实样本，假设真实样本x是由变量z生成的，z是隐变量，是不可观测的随机变量，假设q(z)是隐变量z的概率分布，服从标准正态分布。p(z|x),q(x|z)是条件正态分布，即对于一个真实样本xi′，假设存在一个专属于xi′的后验分布p(zi|xi′)，并进一步假设这个分布是独立的多元正态分布。

20、设置后续模型训练所需参数：一次训练编码器和译码器进行迭代的最大迭代次数ned，其取值由实验经验决定；每次进行训练的批量大小c，其取值由实验经验决定；设置当前训练的批量次数cnow＝0，其取值随着训练不断增加，最大取值为c；模型最大迭代次数e，其取值由实验经验决定；模型的迭代次数e＝0。进化符号动量(lion)优化器的学习率α，其取值由实验经验决定；编码器e、解码器d的隐藏层激活函数均使用leakyrelu函数。

21、神经网络是由多个神经元相互连接而成的计算模型，每个神经元接收输入信号并产生输出信号。在神经网络中，每个神经元都有一个权重矩阵w和一个偏置向量b，它们决定了神经元对输入信号的处理方式。权重矩阵w用于衡量输入信号对神经元输出的影响程度，偏置向量b则用于调整神经元的激活阈值。vae的编码器包括五层神经网络，译码器也包括五层神经网络，本方法采取高斯分布来初始化vae模型中编码器e、解码器d的权重矩阵we,wd，并将偏置向量be、bd的初始值设置为0；

22、步骤2.3，训练编码器e以及解码器d：

23、使用梯度下降方法最小化式(2)，更新编码器e、解码器d的权重矩阵we,wd和偏置向量be、bd直至迭代次数为ned，设置当前训练的批量次数cnow＝cnow+1；

24、步骤2.4，更新在vae在提取数据特征的过程中形成的隐藏空间及其特性；

25、对于一个k维的任意分布，能够通过选取一组k个服从正态分布的变量并将这种分布映射到一个足够复杂的函数中来生成。因此，可以假定训练过程中的隐藏变量z服从高斯分布，然后构造出一个具体的函数将我们服从高斯分布的隐藏空间映射到一个更为复杂的分布当中，这就是vae的训练过程。vae的编码器包括五层神经网络，译码器也包括五层神经网络，当数据集x′输入编码器后，编码器最终输出均值μ和方差σ，代表原始样本的数据分布特征。对于每一个数据集x′中的元素xi′，编码器都会生成一个对应的服从高斯分布的隐藏变量zi′来模拟元素xi′所对应的分布，隐藏变量zi′有属于自己的均值μi和方差σi，根据步骤2.3中编码器的参数更新，重新构造所有xi′所对应的隐藏变量zi′。

26、步骤2.5，循环步骤2.3和2.4直到cnow＝c。

27、步骤2.6，使用进化符号动量(lion)优化器对步骤2.3中使用的梯度下降方法的梯度进行更新，并令cnow＝0，e＝e+1。

28、步骤2.7，循环步骤2.3、2.4、2.5、2.6，直到模型的迭代次数e＝e。

29、步骤2.8，训练生成，记录编码器e、解码器d的权重矩阵we,wd和偏置向量be、bd，记录所有xi′所对应的隐藏变量zi′的均值μi和方差σi。

30、所述第三步具体为：根据记录的数据集x′中每个xi′所对应的隐藏变量zi′的均值μi和方差σi构建新的数据集xi∈rk,μi∈rk,σi∈rk。

31、所述第四步具体为：

32、步骤4.1，规定簇的数目m＝4以及最大迭代次数n，其取值由实验经验决定。

33、步骤4.2，为数据集v的每个聚类选择一个初始聚类中心,第一个类的初始中心(xj′,μj,σj)为随机选择，之后计算尚未选择的每个数据点的隐变量均值到初始聚类中心的最远欧式距离di(v)，并且以概率

34、

35、选择新的类的中心点，得到第二个聚类点为(xl′,μl,σl)。

36、之后计算尚未选择的每个数据点的隐变量均值到前两个聚类中心的最远欧式距离di(v)，并且以概率

37、

38、选择新的类的中心点，得到第三个聚类点为(xb′,μb,σb)。

39、之后计算尚未选择的每个数据点的隐变量均值到前三个聚类中心的最远欧式距离di(v)，并且以概率

40、

41、选择新的类的中心点，得到第四个聚类点为(xg′,μg,σg)。

42、最终形成集合w＝{(xj′,μj,σj),(xl′,μl,σl),(xb′,μb,σb),(xg′,μg,σg)}。

43、步骤4.3，将数据集v的其余各个元素按照最小距离原则分配到最邻近聚类。具体为：

44、计算数据集v的其余各个元素的隐变量均值到四个聚类点的隐变量均值的最小欧式距离，并将各个元素归类到能取到最小欧式距离的聚类点中去。

45、步骤4.4，所有元素都被归类到集合w＝{(xj′,μj,σj),(xl′,μl,σl),(xb′,μb,σb),(xg′,μg,σg)}这四个聚类点中去。使用每个聚类的样本均值更新聚类中心。替换集合w中的元素。具体为：

46、对于归类到第一个聚类点(xj′,μj,σj)的所有元素构成的集合vj，取vj中所有元素隐变量均值uj是vj中的元素个数，令更新了聚类中心。对其他聚类点进行同样的操作。

47、步骤4.5，重复步骤4.3，4.4直到聚类中心不再发生变化或者达到最大迭代次数n。

48、步骤4.6，输出最终的聚类中心集合和4个簇划分。

49、所述第五步具体为聚类完成后，按照每个簇含有的数据个数定义标签，数据量少的为中断类型，标签为y′∈{1，2,3}，数量多的为正常类型，y′∈{0}。最终得到输出集合yi′∈r1，xi是数据集x中的元素，y′是xi对应预测的标签，如果y′∈{1，2,3}，则xi为中断数据。

50、有益效果：本发明中提出的基于变分自编码器的中断检测方法具有以下优势：相较于以前的无监督聚类方法，本发明利用vae的特征提取能力记录下每个数据的隐向量分布，再借k-means算法进行二度聚类，由此提升了中断检测准确性能。此外，本发明拥有指定簇的数目这一优势，在面对多类中断问题以及数据不平衡问题时也有良好的表现。