一种基于AAE的网络异常预警方法及预警系统与流程

本发明涉及一种基于aae的网络异常预警方法及预警系统，属于数字信息的传输与承载、人工智能领域，尤其是基于aae的网络异常预警技术。

背景技术：

1、随着通信以及互联网技术的高速发展，承载着绝大多数信息传播、沟通交流、商业运作、教育科研及娱乐休闲的网络是否正常运转至关重要。若核心网络发生故障现象，将造成整个市甚至整个省份范围内无法正常通信或上网。因此，如何监测网络状态以及时发现网络设备和线路的异常情况，并针对异常情况做出及时预警，助力人员快速聚焦异常，先大范围故障前解决问题，已成为当前亟需解决重要问题之一。

2、然而，网络性能正常与异常数据量级差异极大，且难以一一进行标注。基于此类现象，现有的网络异常预警方案主要包括以下两种：

3、第一，基于专家规则的网络异常预警方案：该类方案主要依据网络异常检测领域专家的知识和经验进行总结进而建立出一套规则系统，其中专家根据网络出现异常的不同特征进行界定，从而可以开发出基于规则的自动化异常检测系统。

4、第二，基于统计学的网络异常检测方案：该类方法主要依据统计学方法来对网络性能数据的正常性做出假定进而建立出一套异常统计学建模系统，其中通过提前假定正常的数据对象遵循某一特定统计模型产生，则超出该模型一定程度下的数据为异常点，从而可以开发出基于统计学模型的自动化异常预警系统。

5、第一种方案基于专家规则，由于该类方案均依赖于专家已有规则，则方案部署与使用均会随着这种部署和基于规则的异常检测方法的使用会随着数据规模增大而大幅度增加人工以及时间成本；同时需要专家对规则进行持续的监管与更新以适应一些新的异常情况，不仅需要大量的人力资源且该方案在识别范围和准确性上易受到专家知识的限制。第二种方案基于统计学，该方案需要大量的且全面的样本数据进行假定模型的分析与选择，对数据质量要求极高，鲁棒性低；同时在面对高维数据时，由于各维数据之间存在相关性且维度高，难以分析并寻找到合适准确的假定模型。

6、为了克服上述问题，工程师们引入了aae（adaptive arithmetic encoder）算法，是一种基于对抗训练的自编码器模型，其通过对抗训练，能够更好的模拟原始数据的分布，同时能够使模型对噪声和干扰更加鲁棒，减少过拟合的风险。

7、如公开号为cn111710150a的申请，公开了一种基于对抗自编码网络的异常用电数据检测方法，基于aae网络的半监督模型在vae网络实现自动特征提取、结合统计学充分学习无标签数据的基础上，利用gan的对抗网络对编码部分进行约束，优化中间变量，对中间隐变量进行训练，既保留分类信息又能够约束隐变量的空间分布，模型的分类性能更好。

8、然而仔细分析上述申请，不仅适用的模型与本方案想要解决的存在较大出入，其基于的aae网络仅支持半监督，同时还需要数据存在标签，那么提供一种基于aae的网络异常预警方案依旧是当前亟需解决的重要问题。

技术实现思路

1、本发明提供一种基于aae的网络异常预警方法及预警系统，集成了针对输入数据标签有无的两种训练方法，从而可以根据不同网络数据灵活进行模型训练，实时监测网络的异常并进行预警，便于提前发现问题进而及时进行维护。

2、本发明解决其技术问题所采用的技术方案是：

3、一种基于aae的网络异常预警方法，具体包括以下步骤：

4、步骤s1：数据采集，数据采集系统收集实时数据流，将实时数据流中的无效数据去除后形成数据库；其中，实时数据流包括有标签数据以及无标签数据；

5、步骤s2：数据预处理，从步骤s1中形成的数据库中提取网络性能指标历史数据，对提取的历史数据进行数据清洗，进行数据标准化操作后，形成用于训练aae算法模型的初始训练样本；

6、其中，在对提取的历史数据进行清洗、标准化处理后若数据为有标签数据，则进行过采样处理；

7、步骤s3：将步骤s2中经过预处理的数据按照设备实例或通信链路实例进行分类整理，得到不同实例数据；

8、步骤s4：将步骤s3中得到的实例数据进行分割与重构，形成最终训练数据，在最终训练样本中有标签的数据集合定义为 y；

9、步骤s5：构建aae算法模型，并对aae算法模型进行参数初始化操作；其中，构建的aae算法模型包括编码器、解码器、判别器以及先验分布生成器；

10、步骤s6：训练aae算法模型，

11、首先将步骤s4中形成最终训练数据中的训练特征矩阵集合 d，输入步骤s5进行参数初始化后的aae算法模型中，计算得到关于有标签数据以及无标签数据的误差；接着对误差进行梯度下降以同步更新编码器和解码器的权重参数，直至误差值收敛；利用先验分布生成器计算对抗损失函数；最后通过梯度下降使编码器生成的潜在分布特征迫近先验分布，同步更新判别器和编码器的参数，以减少过拟合并增加aae算法模型的鲁棒性；

12、步骤s7：将数据输入步骤s6训练完毕的aae算法模型中，

13、针对有标签数据，解码器直接输出结果，判定当前信息是否存在异常；

14、针对无标签数据，计算出的误差若大于或者等于预设阈值，则认为网络存在异常，小于预设阈值，则认为网络正常；

15、步骤s8：根据步骤s7输出的结果，若存在异常，产生预警，并将预警信息推送至预警处理模块；

16、作为本发明的进一步优选，步骤s1中，数据库中包括近14天的所有数据，若数据采集系统提供有标签数据且异常数据的储备未达到预设完整标准，则每日0时删除14天前所有的非异常数据，保留异常数据，若有标签数据且异常数据的储备达到预设完整标准，则更新异常数据并维持在储备完整状态；

17、若数据采集系统仅提供无标签数据，则每日0时删除14天前所有的数据；

18、作为本发明的进一步优选，步骤s2中，对提取的历史数据进行数据清洗，具体是，针对不同数据类型利用均值法或者最小邻居法进行重复值、缺失值的清除与补充；

19、进行数据标准化具体是，是针对不同数据各维特征字段进行相应的标签化及标准化处理；

20、作为本发明的进一步优选，在对提取的历史数据进行清洗、标准化处理后若数据为有标签数据，对有标签数据进行过采样处理；

21、具体步骤为：

22、步骤s21：针对所有异常数据样本，计算其与其他异常数据样本的欧氏距离；

23、步骤s22：在离其较近的异常样本中随机选择一个，并在与之的连线上生成一个新的异常样本；

24、步骤s23：重复步骤s22，直至生成新样本至预设数量；

25、作为本发明的进一步优选，步骤s4中，将得到的实例数据进行分割与重构形成最终训练数据，具体为，在训练数据中包含 i个实例，以 i个实例中的实例 i为例，实例 i内包括 c条训练数据，按时间顺序提取其连续 m条数据并聚合成 c-m+1个特征矩阵，其中第 k个特征矩阵具体为，特征矩阵中，表示实例 i第 k个特征矩阵内第 m个时刻的训练数据，；

26、每条训练数据包含 n个维度的特征，则表示为，其中表示内第 n个特征维度的数据，亦为特征矩阵内第 m行第 n列的特征元素，；

27、若数据为有标签数据，则有标签数据集合为 y，包括标签，其中值为0或1，0表示正常，1表示异常，；

28、作为本发明的进一步优选，步骤s5中，构建的aae算法模型中，编码器，采用6层的神经网络结构，分别是第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第一全连接层、第二全连接层，激活函数均采用leaky relu；

29、解码器，若数据无标签，解码器共采用6层的神经网络结构，分别是第一全连接层、第二全连接层、第一上采样层、第一卷积层、第二上采样层、第二卷积层，激活函数均采用tanh；若数据有标签，则解码器共采用7层的神经网络结构，分别是第一全连接层、第二全连接层、第一上采样层、第一卷积层、第二上采样层、第二卷积层以及第三全连接层，第三全连接层的激活函数采用sigmoid，第一全连接层、第二全连接层、第一上采样层、第一卷积层、第二上采样层以及第二卷积层的激活函数均采用tanh；

30、判别器，采用6层的神经网络结构，分别是第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第一全连接层、第二全连接层，第二全连接层的激活函数采用sigmoid，第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第一全连接层的激活函数采用relu；

31、先验分布生成器，基于均值0、方差1的标准正态分布生成先验分布；

32、对aae算法模型进行参数初始化的算法参数，学习率为0.0001，优化器为adam；

33、作为本发明的进一步优选，步骤s6中训练aae算法模型的具体步骤为：

34、步骤s61，将步骤s4中形成最终训练数据中的训练特征矩阵集合 d输入至编码器中生成隐藏层状态，即生成编码器生成数据 h，将编码器生成数据 h输入解码器中；

35、若数据无标签，则解码器重构生成原始维度的特征矩阵集合，若数据有标签，则解码器输出异常判别结果集合；

36、步骤s62，通过训练特征矩阵集合 d以及特征矩阵集合计算无标签数据的误差，计算公式为：，示特征矩阵集合中第 i个实例中第 k个特征矩阵，表示中第 m个时刻的第 n个特征值；

37、通过最终训练样本中有标签的数据集合 y以及异常判别结果集合计算有标签数据的误差，计算公式为：，表示异常判别结果集合中第 i个实例中第 k个异常判别结果；

38、步骤s63，对步骤s62中的误差进行梯度下降以同步更新编码器和解码器的权重参数，直至误差值收敛；

39、步骤s64，利用先验分布生成器生成正态分布 p，并进而计算对抗损失函数，对抗损失函数的计算公式为：

40、，

41、公式中， h为编码器的输出分布，e p-p(·)表示计算正态分布 p的分布函数期望值，e h-h(·)表示计算 h的分布函数期望值，判别器的运算，输出0到1的概率值，表示正确区分符合正态分布 p的原始数据 p和符合 h的编码器生成数据 h的概率；

42、步骤s65，通过对对抗损失函数进行梯度下降直至损失函数值收敛，以迫使编码器生成的潜在分布特征迫近先验分布，同步更新判别器和编码器的参数，完成aae算法模型的训练；

43、作为本发明的进一步优选，步骤s7中，将数据输入步骤s6训练完毕的aae算法模型，根据输出结果判定是否进行预警的步骤为：

44、步骤s71，接收数据采集系统实时推过来的数据流，并去除数据中的无效数据；

45、步骤s72，将数据按照aae算法模型训练数据中的特征矩阵形式进行分割与重构，根据数据的标签有无选择对应的算法模型，接着将数据输入至aae算法模型编码器中得到隐藏特征结果，再将结果输入至aae算法模型解码器中得到对应输出；

46、步骤s73，若为有标签数据，则aae算法模型解码器输出为0或1，其中0表示正常，1表示异常；若为无标签数据，则aae算法模型解码器输出为与输入数据同维度的特征矩阵，计算输入矩阵和输出矩阵的均方差值，计算出的均方差值大于等于预设阈值则认为网络存在异常，小于预设阈值则认为网络正常；

47、步骤s74，当aae算法模型判定当前输入数据为异常时，产生预警，并将预警信息推送至预警处理模块；

48、作为本发明的进一步优选，预警处理模块收到预警信息后，将预警信息与基本信息，包括实例名称以及对端ip进行结合，并根据基本信息查询到相关人员信息，进而通过电话或者短信或者app推送通知相关人员进行一线处理，处理完成后选择解除预警，并将相关预警闭环信息进行存储于备份；

49、基于aae的网络异常预警方法的预警系统，包括数据存储模块、数据预处理模块、模型构建与训练模块、预警判定模块以及预警处理模块，数据存储模块用于收集实时数据流，同时去除数据中的无效数据；

50、数据预处理模块用于对提取的历史数据进行数据清洗以及进行数据标准化处理；

51、模型构建与训练模块用于aae算法模型的构建与训练；

52、预警判定模块用于存储训练完成后的aae算法模型，实现对网络实时数据的接收与处理，并根据处理结果判定是否进行预警；

53、预警处理模块收集预警信息后，将预警信息处理后进行存储于备份。

54、通过以上技术方案，相对于现有技术，本发明具有以下有益效果：

55、1、本发明提供的基于aae的网络异常预警方法，引入的aae算法具有更强的异常检测性能，算法利用自编码器算法较好的拟合正常数据的分布，并通过引入对抗网络进一步提升分布的准确性，从而大幅度提升预警判定的准确性；

56、2、本发明提供的基于aae的网络异常预警方法，从海量数据中捕捉非线性关系和复杂的异常模式，集成了大量的有标签数据与无标签数据，且可以根据数据的标签有无情况灵活构建模型从而提升数据利用率，并产生对应预警，同时可以减少人工标注或制定异常规则的人力成本，提高预警判定效率；

57、3、本发明提供的基于aae的网络异常预警方法，当网络结构、业务场景或数据特征发生变化时，本提案可以根据最新的数据重新构建并训练预警判定模型即可，而无需制定新的规则或拟合新的分布。