未知威胁检测方法及系统与流程

本发明属于网络安全的，尤其涉及一种未知威胁检测方法及系统。

背景技术：

1、随着网络攻击手段的不断演变，传统的网络安全防护措施已难以有效应对未知威胁。现有技术主要依赖于特征匹配和规则基础的检测方法，这些方法依赖于已知攻击特征库，无法及时识别新出现的威胁。此外，许多现有系统在流量分析方面存在以下缺陷：

2、响应速度慢：传统方法在流量检测过程中往往需要较长时间进行数据处理和特征匹配，导致对实时攻击的响应能力不足。误报率高：依赖静态规则的检测策略容易产生误报，增加了运维负担并降低了系统的信任度。特征更新滞后：现有技术无法快速适应新的攻击模式，特征库的更新频率通常较低，导致对新型威胁的检测能力不足。特征提取不足：传统方法在特征提取方面较为简单，无法充分挖掘流量中的潜在信息，限制了异常行为的识别能力。

3、因此，现有技术在面对复杂多变的网络环境时显得不够灵活和高效，迫切需要一种新型的检测方法，以提升对未知威胁的检测能力和响应速度。

技术实现思路

1、本发明的目的在于提供一种未知威胁检测方法及系统，以解决现有技术响应速度慢、误报率高以及特征提取不足的问题。

2、为实现上述发明目的之一，本发明一实施方式提供一种

3、采集并预处理历史网络流量，提取时间域和频率域特征，建立流量特征库；

4、基于自编码器模型利用流量特征库对实时流量进行重构，检测异常行为；

5、基于检测到的异常行为，生成告警信息并自动调整防火墙策略，同时进行溯源分析以识别潜在威胁来源。

6、作为本发明一实施方式的进一步改进，所述方法还包括，所述预处理包括，

7、通过数据清洗和归一化处理，去除重复、无效或噪声数据，处理缺失值，统一不同来源的数据格式；

8、对经数据清洗的历史网络流量提取时间序列数据。

9、作为本发明一实施方式的进一步改进，所述方法还包括，所述流量特征库包括正常流量的基线模型与已知威胁的特征模版库，建立所述流量特征库的步骤包括：

10、提取所述时间序列数据的时间域特征，包括时间间隔的平均值、标准差、峰度和偏度；

11、基于所述时间域特征，提取时间序列数据的频率域特征，包括对时间序列数据进行傅里叶变换，提取频率分量的幅度和相位信息，识别周期性模式和异常频率成分；

12、获取所述时间域特征和所述频率域特征的统计特征，包括计算平均值、方差、最大值、最小值和四分位数；

13、基于所述时间域特征、所述频率域特征和所述统计特征，使用正常流量数据建立基线模型，并记录正常流量数据的特征分布；

14、收集已知的威胁模式，并通过提取时间域特征、频率域特征和统计特征，构建特征模板库。

15、作为本发明一实施方式的进一步改进，所述方法还包括，所述基于自编码器模型利用流量特征库对实时流量进行重构包括，

16、所述自编码器模型的训练步骤包括：

17、从所述特征模板库中选择一组特征，作为所述自编码器模型的输入特征；

18、通过编码器将输入特征映射到低维隐空间表示为：

19、z＝σ(we*x+be)

20、其中，z为低维隐空间表示，σ为激活函数，we为编码器的权重矩阵，x为输入数据，be为编码器的偏置向量；

21、通过解码器从隐空间重构输入特征表示为：

22、

23、其中，为重构的输入特征，wd为解码器的权重矩阵，、bd为解码器的偏置向量；

24、基于基线模型的特征分布，初始化自编码器模型的权重矩阵和偏置，并通过遍历所述特征模板库的输入特征，最小化重构误差调整所述权重矩阵和偏置。

25、作为本发明一实施方式的进一步改进，所述方法还包括，所述检测异常行为包括，

26、计算输入数据与重构数据之间的误差，表示为：

27、

28、其中，xt为t时刻的输入数据，为t时刻的重构数据，et为t时刻的误差数据；当et大于预设阈值误差时，判定所述输入数据为异常流量。

29、作为本发明一实施方式的进一步改进，所述方法还包括，当判定为异常流量时，包括，

30、获取所述异常流量的特征数据，包括时间戳、来源ip地址、目标ip地址、端口号；

31、根据所述异常流量的特征数据，确定防火墙规则的调整策略，包括阻止可疑ip地址的访问、限制特定端口的访问以及阻止特定协议的使用；

32、使用编程语言生成与防火墙设备交互的api请求，通过api接口与防火墙设备进行交互，发送生成的请求动态更新防护策略，同时监控防火墙设备的日志，确认新的防护策略已经生效。

33、作为本发明一实施方式的进一步改进，所述方法还包括，对所述异常流量进行溯源分析包括，

34、根据所述异常流量的特征信息，利用网络流量监控工具或日志分析系统，回溯异常流量的路径，确定异常流量的来源和经过的网络节点；

35、结合网络拓扑结构和流量路径，分析潜在的攻击者和攻击路径，并通过对比历史流量记录，寻找异常流量的模式和规律，识别可能的攻击者行为。

36、为实现上述发明目的之一，本发明一实施方式提供一种未知威胁检测系统，包括特征提取模块、重构模块和异常分析模块；

37、所述特征提取模块用于采集并预处理历史网络流量，提取时间域和频率域特征，建立流量特征库；

38、所述重构模块用于基于自编码器模型利用流量特征库对实时流量进行重构，检测异常行为；

39、所述异常分析模块用于基于检测到的异常行为，生成告警信息并自动调整防火墙策略，同时进行溯源分析以识别潜在威胁来源。

40、为实现上述发明目的之一，本发明一实施例还提供一种电子设备，包括存储器以及处理器，其特征在于，所述存储器中存储可在所述处理器上运行的计算机程序，所述处理器上执行程序时实现如上所述未知威胁检测方法中的步骤。

41、为实现上述发明目的之一，本发明一实施例还提供一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述未知威胁检测方法中的步骤。

42、本发明与现有技术相比，本发明提供的一种未知威胁检测方法及系统，基于时序分析和自编码器模型，显著提升了对未知威胁的检测能力。通过对历史网络流量的深入分析，建立动态流量特征库，实现实时流量的精确重构和异常行为检测。该方法不仅降低了误报率，还能快速响应新型攻击，增强了网络防护的灵活性和有效性。此外，自动调整防火墙策略和溯源分析功能，使安全防护措施更加智能化，为网络安全提供了更全面的保障。

技术特征：

1.一种未知威胁检测方法，其特征在于：包括，

2.根据权利要求1所述的未知威胁检测方法，其特征在于：所述预处理包括，

3.根据权利要求2所述的未知威胁检测方法，其特征在于：所述流量特征库包括正常流量的基线模型与已知威胁的特征模版库，建立所述流量特征库的步骤包括：

4.根据权利要求3所述的未知威胁检测方法，其特征在于：所述基于自编码器模型利用流量特征库对实时流量进行重构包括，

5.根据权利要求4所述的未知威胁检测方法，其特征在于：所述检测异常行为包括，

6.根据权利要求5所述的未知威胁检测方法，其特征在于：当判定为异常流量时，包括，

7.根据权利要求6所述的未知威胁检测方法，其特征在于：对所述异常流量进行溯源分析包括，

8.一种未知威胁检测系统，其特征在于：包括特征提取模块、重构模块和异常分析模块；

9.一种电子设备，包括存储器以及处理器，其特征在于：所述存储器中存储可在所述处理器上运行的计算机程序，所述处理器上执行程序时实现如权利要求1-7任意一项所述未知威胁检测方法中的步骤。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述未知威胁检测方法中的步骤。

技术总结本发明涉及一种未知威胁检测方法及系统，包括采集并预处理历史网络流量，提取时间域和频率域特征，建立流量特征库；基于自编码器模型利用流量特征库对实时流量进行重构，检测异常行为；基于检测到的异常行为，生成告警信息并自动调整防火墙策略，同时进行溯源分析以识别潜在威胁来源。基于时序分析和自编码器模型，显著提升了对未知威胁的检测能力。通过对历史网络流量的深入分析，建立动态流量特征库，实现实时流量的精确重构和异常行为检测。该方法不仅降低了误报率，还能快速响应新型攻击，增强了网络防护的灵活性和有效性。此外，自动调整防火墙策略和溯源分析功能，使安全防护措施更加智能化，为网络安全提供了更全面的保障。技术研发人员：鲍全松,谭航,范亮凯,马玥受保护的技术使用者：江苏省未来网络创新研究院技术研发日：技术公布日：2024/11/18