一种基于复合骨干网络的异常流量检测系统及方法

本发明属于但不限于深度学习，尤其涉及一种基于复合骨干网络的异常流量检测系统及方法。

背景技术：

1、最近几年，深度学习技术已经展现出其在网络异常流量检测任务中的适用性和有效性。然而，这一领域目前多数现有方法依赖于单一的深度学习架构，这限制了它们在提取网络流量数据多维特征时的能力。由于这种方法在特征提取上有一定缺陷，会对检测的准确性造成不利影响，进而影响到最终的检测结果。

2、现有技术在网络异常流量检测任务中存在以下技术问题及缺陷：

3、1)单一深度学习架构的局限性：目前多数现有方法依赖于单一的深度学习架构，如仅使用lstm或gru进行特征提取。这种单一架构在提取网络流量数据多维特征时能力有限，无法充分捕捉复杂的网络流量特征，导致模型的特征表达能力不足。

4、2)特征提取的不足：由于单一架构的深度学习模型在特征提取上存在一定缺陷，会遗漏一些关键特征或未能充分挖掘网络流量数据中的潜在模式。这种特征提取的不足会对检测的准确性造成不利影响，进而影响到最终的检测结果。

5、3)多维特征的处理能力弱：网络流量数据具有多维特征，包括时间序列特征、统计特征和协议特征等。现有技术中单一架构的深度学习模型在处理这些多维特征时表现不佳，无法充分利用不同特征之间的关系来提升检测性能。

6、4)泛化能力较差：单一架构的深度学习模型在训练过程中容易过拟合于特定类型的异常流量，导致其在应对新型或未知的异常流量时泛化能力较差。模型在测试阶段面对未见过的异常流量时，识别率和准确性大幅下降，影响了实际应用中的可靠性。

7、5)难以应对复杂的网络环境：在复杂的网络环境中，网络流量的特征和模式变化多样，现有的单一深度学习架构难以适应这些变化，导致检测效果不稳定。无法有效处理复杂的网络环境，使得异常流量检测系统的实际应用效果受到限制。

8、这些技术问题和缺陷限制了现有网络异常流量检测方法的性能和应用效果，亟需通过改进和创新深度学习架构，提升特征提取能力和模型的泛化能力，以更好地应对复杂多变的网络环境和新型异常流量的检测任务。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于复合骨干网络的异常流量检测系统及方法。

2、本发明是这样实现的，一种基于复合骨干网络的异常流量检测系统，该系统包括包括：

3、数据预处理模块，负责处理原始的网络流量数据，以支持后续的分析和模型训练；

4、流量特征学习模块，对于处理好的流量数据分别输入到lstm与gru中，gru为主网络，负责融合辅助网络的特征并将最终的输出作为分类的特征；左侧的lstm网络起辅助作用，输出高层级特征，利用复合连接为主网络提供高级特征用以融合；

5、检测分类模块，负责将预处理并经特征提取的网络流量数据输入至最终的分类器。

6、进一步，所述数据预处理模块初始捕获的网络流量数据通常为pcap文件格式，其中包含捕获的数据包信息，依据每个数据包的独特标识符，即由源ip地址、目的ip地址、源端口号、目的端口号和传输协议组成的五元组对数据包进行聚合；通过这种方式，属于同一网络连接的所有数据包将被编组进相应的数据流中；接下来对每个识别的数据流提取特征集，包括但不限于总数据量、数据包计数及平均数据包大小等整体统计特征；

7、进一步，所述数据预处理模块对于各个时间窗口中的统计特征，例如窗口内的数据包数量、数据总量和平均数据包大小；对于分类变量(如协议类型等)，通过使用one-hot编码以便模型能够理解这些非数值性质的特征；在特征提取之后，删除那些对训练模型贡献不大或信息量有限的特征项；对所选特征进行归一化处理以保证特征值处于同一量级，方便深度学习模型的学习和优化；通过这一切步骤，确保了预处理后的数据统一格式化以用于进一步的异常检测模型训练。

8、进一步，所述数据预处理模块核心环节包括对数据流的分割及其特征的提取，具体包括：

9、切割数据流：原始的pcap流量文件由众多数据包构成，设数据包总数为n，那么可以将其表示为p＝{p1，p2，...pn}。对于每一个数据包pi都可以定义为公式(1)所示的形式：

10、pi＝(qi，ti，si)                           (1)

11、在公式(1)中，五元组信息用于描述流量数据包，包括源ip地址(srcip)、目标ip地址(dstip)、源端口(srcport)、目标端口(dstport)以及使用的传输层网络协议(protocol)。此外，公式还涉及数据包pi的起始时间ti和其大小si。数据流(flow)，指的是具有相同五元组属性的数据包集合，如公式(2)中定义：

12、pflow＝{p1＝(q1，t1，s1)，p2＝(q2，t2，s2)，...，pn＝(qn，tn，sn)}    (2)

13、公式(2)中，每个网络流定义为一系列具有相同的源ip、目的ip、源端口、目的端口以及协议类型的数据包集合，并且它们之间的到达时间符合一定的连续性，于是有q1＝q2＝...＝qn，且数据包的开始时间满足t1＜t2＜...＜tn；

14、选用了cicflowmeter，利用其对原始pcap文件中的流进行维度切割的能力，随后分别对每个流抽取出包括数据包头信息、流总量、数据包总数以及平均数据包大小在内的86项特征信息；在网络特征选择时，排除诸如以太网层mac地址(源和目的)、协议版本等字段，因为这些特征对模型性能的提升并不显著；针对数据中的类别(非数值)字段，采用one-hot编码策略，并对全部特征进行了归一化处理，最终构建出一套包含81个特征维度的拟态异常流量数据集用于后续分析。

15、进一步，所述复合连接的方式为线性变换后加权平均到主网络，可以表示为：

16、

17、其中表示gru网络第l层的输出,表示对lstm第l层的输出做线性变换，为一个超参数，代表辅助网络对主网络的影响程度。

18、进一步，所述lstm网络由一个或多个含有输入门、遗忘门和输出门的lstm单元构成；

19、所述gru对lstm的结构进行了简化，将lstm的三个门(输入门、遗忘门和输出门)减少到两个门：更新门和重置门；所述更新门由lstm的遗忘门和输入门功能合并而成，用来决定每个时间步保存旧状态信息的比例和添加新信息的比例；

20、所述gru的计算分为两个部分：

21、更新门zt和重置门rt的计算。更新门zt使用sigmoid函数和点积运算，控制前一时刻的隐藏状态ht-1与当前输入t之间的信息更新程度；重置门rt也使用sigmoid函数和点积运算，它控制了前一时刻的隐藏状态ht-1对当前时刻的影响程度；它们的计算公式为：

22、

23、其中，wz和wr是可学习的参数；

24、更新隐藏状态的计算，首先计算候选隐藏状态它通过tanh函数和点积运算得到，表示根据当前输入信息计算得到的新的候选隐藏状态。然后，根据更新门zt来选择保留前一时刻的隐藏状态ht-1还是使用候选隐藏状态h，得到最终的当前时刻隐藏状态ht。其计算公式为：

25、

26、进一步，所述流量特征学习模块中双骨干模型的复合连接方式采用将辅助网络的当前层输出(高级特征)分阶段地传入主网络作为当前层的输入的一部分，称之为相邻高层级构成。

27、进一步，所述检测分类模块采用的分类技术是softmax分类器，softmax分类器对从流量特征学习模块中提取出的特征执行概率分布的转换，为每个类别赋予一个归一化的概率得分，从而做到分类；

28、所述softmax分类器的输出为概率分布，表示输入样本属于每个类别的概率，在softmax分类器中，给定一个输入向量s，它包含了上一层的输出，也就是软件模型为每种异常流量种类预测的分数，向量s的维度与异常流量种类的数量一致，softmax函数将这个向量的分数转换成概率值。其具体计算公式为：

29、

30、本发明另一目的在于提供一种基于所述基于复合骨干网络的异常流量检测系统的基于复合骨干网络的异常流量检测的方法，该方法具体包括：

31、s1：利用数据预处理模块，处理原始的网络流量数据，以支持后续的分析和模型训练；

32、s2：利用流量特征学习模块，对于处理好的流量数据分别输入到lstm与gru中，gru为主网络，负责融合辅助网络的特征并将最终的输出作为分类的特征；左侧的lstm网络起辅助作用，输出高层级特征，利用复合连接为主网络提供高级特征用以融合；

33、s3：利用检测分类模块，负责将预处理并经特征提取的网络流量数据输入至最终的分类器。

34、本发明另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于复合骨干网络的异常流量检测的方法的步骤。

35、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

36、第一、本发明提出了一种复合的网络异常检测系统及方法，该系统采用了一个集成多个层次特征的融合架构。设计了一个包含两个骨干的网络：将gru和lstm通过复合连接将其串联起来，lstm的输出分阶段地传递给gru作为一部分输入，gru的输出最终会被用作异常流量分类，通过这种方式能够更全面地捕捉网络流量的特征。复合连接技术的使用，有效地提升了底层和顶层特征的丰富性，并增加了特征的多样性，使得网络能够针对各种不同的目标和任务有更好的适应性及表现。

37、对于相邻底层级的模型，将低层次的特征加载到高层次特征中时，其中的语义信息会被大大损害。而相邻同层级模型会导致参数冗余，辅助网络传递的信息对于主网络是同层次的，所以所提取的特征也是比较相似的，使得网络参数没有被充分利用，导致效果较差。而相邻高层级的模式收到的是前一个骨干网络已经处理和提炼过的特征，它的学习任务相对简化，可以在提取高级特征的同时重新提取辅助骨干遗漏的一些信息，用以弥补辅助骨干的不足。因此效果较好。

38、第二，本发明的技术方案转化后的预期收益为：

39、1.提升网络安全防护能力

40、通过实时监测和分析网络流量，及时发现并防御ddos攻击、蠕虫病毒、恶意流量等安全威胁，显著提升网络的安全防护能力。

41、减少因网络攻击导致的服务中断和数据泄露等风险，保障业务连续性和数据安全性。

42、2.优化网络性能

43、识别并限制非业务相关的网络流量(如p2p、bt等)，提高网络带宽的利用率，优化网络性能。

44、通过对网络流量的精准控制，降低网络延迟和丢包率，提升用户体验。

45、3.降低运维成本

46、自动化检测和响应机制减少了人工干预的需求，降低了运维成本。

47、实时告警和处置功能帮助运维人员快速定位和解决网络问题，提高运维效率。

48、4.增强市场竞争力

49、提供高效、准确的网络异常流量检测解决方案，增强企业在网络安全领域的竞争力。满足行业对网络安全和性能的高要求，吸引更多客户合作。

50、本发明的商业价值为：

51、1.产品差异化

52、基于复合骨干网络的网络异常流量检测模型为产品带来独特的技术优势，使企业在市场上形成差异化竞争。通过技术创新提升产品附加值，增加客户粘性。

53、2.市场拓展

54、适用于电信运营商、数据中心、金融行业、云计算平台、工业物联网等多个领域，具有广阔的市场前景。满足不同行业对网络安全和性能的不同需求，拓展市场份额。

55、3.收入增长

56、随着网络安全威胁的日益严峻和客户对网络性能要求的不断提高，对网络异常流量检测的需求将持续增长。企业可以通过销售网络异常流量检测产品、提供定制化解决方案等方式实现收入增长。

57、第三，本发明针对现有技术中存在的异常流量检测问题，提出了基于复合骨干网络的解决方案，有效解决了传统方法在处理复杂网络流量数据时面临的特征提取不充分、检测准确率低等技术难题。

58、传统异常流量检测系统往往依赖于手工提取的特征，难以适应动态变化的网络环境，且对于新型攻击模式的识别能力有限。而本发明通过引入lstm和gru网络构成的复合骨干网络，实现了对流量数据深层特征的自动学习和提取，显著提高了检测的准确性和鲁棒性。

59、本发明的显著技术进步体现在多个方面。首先，通过数据预处理模块的有效设计，实现了对原始pcap格式网络流量数据的高效处理和特征提取。其次，流量特征学习模块中的复合骨干网络通过融合lstm和gru的优势，实现了对流量数据时序特征和潜在关联的深度学习，提升了特征表示的丰富性和有效性。最后，检测分类模块采用softmax分类器，实现了对异常流量的精确分类和识别。

60、综上所述，本发明通过引入复合骨干网络和深度学习技术，提出了一种新颖且有效的异常流量检测方法，不仅解决了现有技术中存在的问题，还取得了显著的技术进步，为网络流量检测领域提供了新的思路和解决方案。