一种基于大数据的网络异常流量检测方法与流程

本发明涉及流量检测，具体涉及一种基于大数据的网络异常流量检测方法。

背景技术：

1、随着物联网技术的迅速发展，越来越多的网络设备连接到网络并进行数据传输。这些设备可以是传感器、控制器、智能设备等，它们之间的数据传输在网络系统中变得非常重要。然而，随着网络的规模和复杂性不断增加，异常流量的产生也变得更加常见。异常流量可能是由于设备故障、恶意攻击、网络拥塞或其他不正常情况引起的。因此，为了保障网站的稳定运行，需要一种有效的异常流量监控系统来实时监测和响应这些异常流量情况。

2、现有技术中，基于机器学习和深度学习的方法成了解决这个问题的有力手段。这些方法可以从大量的传输数据中提取特征，并建立模型来识别正常流量和异常流量，但是由于深度学习的算法需要消耗大量的算力，在实时检测中对硬件的要求较高，无法得到广泛的应用。

技术实现思路

1、本发明的目的在于提供一种基于大数据的网络异常流量检测方法，解决以下技术问题：

2、基于机器学习和深度学习的流量检测方法需要消耗大量的算力，在实时检测中对硬件的要求较高。

3、本发明的目的可以通过以下技术方案实现：

4、一种基于大数据的网络异常流量检测方法，包括：

5、从网络流量中获取原始流量指标，所述原始流量指标包括但不限于流量峰值、流量均值、数据包字节数、流量标准差、流量增长率；

6、对采集的流量指标进行去噪声处理、特征提取、数据清洗；对处理后的流量指标进行特征工程处理，提取关键特征并转换成用于机器学习模型的格式；

7、基于深度学习算法，对特征化的流量指标进行模型训练，生成流量识别模型；将训练好的流量识别模型应用于网络流量检测，检测其中的异常流量和正常流量；

8、获取网络中的实时流量指标，与正常流量指标和异常流量指标，基于优劣解距离法对实时流量指标进行打分，将评分排名位于前10%的实时流量指标标记为待定流量指标，对待定流量指标的流量传输通道进行检查。

9、作为本发明进一步的方案：获取原始流量的过程为：

10、在wireshark窗口中选择需要监测的网络设备的流量接口，捕获流经所选流量接口的数据包，通过过滤器来筛选出网络设备之间的流量。

11、作为本发明进一步的方案：所述优劣解距离法的具体过程为：

12、将过去1小时的实时流量x划分为若干个单位时间的实时流量x，实时流量和异常流量以及正常流量的总数量标记为n，将流量指标的数量标记为m，将第i个实时流量的第j个流量指标标记为xij，i和j均为正整数，且i≤n，j≤m，与正常流量指标和异常流量指标共同进行归一化数值处理，并生成归一化矩阵；

13、将归一化矩阵进行标准化处理生成标准化矩阵z，其中标准化矩阵z中的每一个标准化指标zij与流量指标一一对应，标准化指标zij与流量指标xij的对应关系为：，于是所述标准化矩阵z为：

14、。

15、作为本发明进一步的方案：所述优劣解距离法的具体过程还包括：

16、将所述标准化矩阵中的异常流量指标定义为z+=（z+1，z+2，...，z+m），z+中每一个指标为标准化矩阵中该指标所在列的最大值，即z+=(max{z11，z21，...，zn1}，max{z12，z22，...，zn2}，...，max{z13，z23，...，znm})；

17、将所述标准化矩阵中的正常流量指标定义为z--=（z-1，z-2，...，z-m），z-中的每一个指标为标准化矩阵中该指标所在列的最小值，即z-=(min{z11，z21，...，zn1}，min{z12，z22，...，zn2}，...，min{z13，z23，znm})；

18、计算第i个实时流量的标准化指标与最大值z+的欧氏距离di+，以及到最小值z-的欧氏距离di-，计算公式为：

19、，。

20、作为本发明进一步的方案：所述打分的计算过程为：

21、第i个实时流量指标的初始打分为，则第i个实时流量指标的最终打分fi为：

22、。

23、作为本发明进一步的方案：所述深度学习算法包括cnn网络和rnn网络。

24、本发明的有益效果：

25、本发明首先通过深度学习算法识别出异常流量，然后再用异常流量和正常流量的指标对实时的流量进行实时对比判定，通过整合先进的大数据技术和深度学习算法，显著提升了网络异常流量检测的准确性与效率，降低了所需的算力，确保了网络安全管理的实时性和自适应调整，此外，自动化的流程减少了对专业人工监控的依赖，从而有效降低了网络运维的成本。

技术特征：

1.一种基于大数据的网络异常流量检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于大数据的网络异常流量检测方法，其特征在于，获取原始流量的过程为：

3.根据权利要求1所述的一种基于大数据的网络异常流量检测方法，其特征在于，所述优劣解距离法的具体过程为：

4.根据权利要求3所述的一种基于大数据的网络异常流量检测方法，其特征在于，所述优劣解距离法的具体过程还包括：

5.根据权利要求4所述的一种基于大数据的网络异常流量检测方法，其特征在于，所述打分的计算过程为：

6.根据权利要求1所述的一种基于大数据的网络异常流量检测方法，其特征在于，所述深度学习算法包括cnn网络和rnn网络。

技术总结本发明公开了一种基于大数据的网络异常流量检测方法，属于流量检测，具体包括：对采集的流量指标进行预处理；对处理后的流量指标进行特征工程处理，提取关键特征并转换成用于机器学习模型的格式；基于深度学习算法，对特征化的流量指标进行模型训练，生成流量识别模型；将训练好的流量识别模型应用于网络流量检测，检测其中的异常流量和正常流量；获取网络中的实时流量指标，与正常流量指标和异常流量指标，基于优劣解距离法对实时流量指标进行打分，将评分排名位于前10%的实时流量指标标记为待定流量指标，并对流量传输通道进行检查；本发明通过训练模型，基于模型的识别结果进行自动化的异常流量检测，降低了流量检测的成本。技术研发人员：周成市,王洁受保护的技术使用者：武珞网络安全技术（上海）有限公司技术研发日：技术公布日：2024/7/29