一种基于数据分析的网络信息安全分析方法及系统与流程

本发明涉及网络安全，具体为一种基于数据分析的网络信息安全分析方法及系统。

背景技术：

1、网络安全是指保护计算机系统和网络免受信息泄露、盗窃、损坏和攻击的技术和实践。具体来说，网络安全涵盖了数据保护、身份验证、访问控制、入侵检测和响应等多个方面，在网络安全的具体领域中，行为分析与异常检测是一个重要的研究方向，该方向通过对用户和设备的行为进行监测和分析，识别异常活动，从而提高网络的安全性。

2、在行为分析与异常检测的具体应用中，现有的方法主要依赖于预定义的规则和签名来识别异常行为，这种方法的缺点是难以应对新型和未知的威胁，因为新威胁通常不会匹配已有的规则和签名，此外，规则和签名的维护和更新需要大量的人力和时间，使得系统的响应速度和灵活性受到限制。

3、并且现状和缺点的产生主要是由于网络环境的复杂性和攻击手段的不断进化所致，当系统无法有效检测和响应异常行为时，攻击者可能会利用这些漏洞实施恶意活动，导致数据泄露、服务中断和系统损坏等严重后果，特别是在面对持续性威胁攻击时，传统的检测方法显得尤为乏力，高误报率会导致安全团队疲于应对大量无关警报，而高漏报率则意味着真正的威胁可能会被忽视，给系统安全带来极大的隐患。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于数据分析的网络信息安全分析方法及系统，解决了背景技术中提到的问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：一种基于数据分析的网络信息安全分析系统，包括数据采集模块、数据预处理模块、特征提取模块、行为分析模块和异常检测模块；

5、所述数据采集模块通过系统日志和安全事件管理工具实时采集数据，包括收集访问者网络流量数据、日志数据、用户行为数据和系统事件数据，组成采集数据集d；

6、所述数据预处理模块对采集数据集d进行预处理，包括数据去噪预处理、填补缺失值预处理和数据格式转换预处理，组成处理后的数据集；

7、所述特征提取模块对数据集进行特征提取，包括网络流量特征提取xf、日志特征提取xl、行为特征提取xu和系统事件特征提取xe，组成特征数据集xfeatures；

8、所述行为分析模块通过使用机器学习算法进行建立基线模型，通过将特征数据集xfeatures输入基线模型进行训练和分析，获取偏离无异常行为模式的程度：异常评估指数s；

9、所述异常检测模块对异常评估指数s与预设的异常评估阈值y进行匹配，获取访问者异常评估策略方案，并根据访问者异常评估策略方案内容对访问者进行执行相应的相应措施，包括访问者的访问限制和相关人员通知。

10、优选的，所述数据采集模块包括日志收集单元和流量收集单元；

11、所述日志收集单元负责从系统日志和安全事件管理工具中实时收集日志数据xl、用户行为数据xu和系统事件数据xe，包括通过使用日志收集工具和配置siem进行实时监控和收集日志数据以及安全事件的集中收集和管理；

12、其中，日志数据包括收集服务器、应用程序、操作系统、安全设备和数据库日志文件；

13、用户行为数据包括收集用户的登录时间、操作行为和访问记录；

14、系统事件数据包括操作系统的所有操作事件和应用程序的错误、警告和其他相关系统事件；

15、所述流量收集单元实时收集访问者的网络流量数据xf，包括数据包大小、传输速率、连接持续时间和协议类型；

16、其中，数据包大小通过流量镜像和网络探针方式捕获采集，包括统计每个连接的数据包大小的平均值、最大值和最小值；

17、所述成采集数据集d具体包括事件类型频率、事件时间分布、事件来源ip、登录频率、操作类型频率、访问资源类型、系统事件类型频率、cpu和内存使用情况、错误和警告事件、数据包大小、传输速率、连接持续时间和协议类型。

18、优选的，所述数据预处理模块包括去噪单元和校正单元；

19、所述去噪单元对采集数据集d使用过滤规则、统计方法和机器学习检测进行数据去噪预处理，包括日志数据去噪过滤掉与网络安全无关的系统消息和冗余记录；用户行为数据去噪移除误操作和无效访问相关操作记录；系统事件数据去噪去除无关的系统事件、系统警告和系统相关事件提醒；网络流量数据去噪过滤无效数据包和重复数据包；

20、所述校正单元对去噪预处理后的采集数据集d进行填补缺失值预处理和数据格式转换预处理，组成处理后的数据集，包括网络流量数据子集、日志数据子集、用户行为数据子集和系统事件数据子集，具体包括数据包平均值、传输速率、协议类型频率、事件类型频率、事件时间分布、登录频率、操作类型频率、系统事件类型频率、cpu使用率和错误和警告事件频率；

21、其中，数据格式转换包括时间格式转换、编码转换和数据类型转换；填补缺失值包括均值填补、中位数填补、最近邻填补和插值法填补。

22、优选的，所述特征提取模块包括网络与日志提取单元和行为与事件提取单元；

23、所述网络与日志提取单元对数据集进行特征提取，包括网络流量特征提取xf：数据包平均值asize、传输速率trate和协议类型频率pfreq；日志特征提取xl：事件类型频率etfreq和事件时间分布etdist；

24、所述行为与事件提取单元对数据集进行特征提取，包括行为特征提取xu：用户登录频率lfreq和操作类型频率atfreq；系统事件特征提取xe：系统事件类型频率setfreq、cpu使用率cusage、错误和警告事件频率ewfreq；

25、通过将网络流量特征提取xf、日志特征提取xl、行为特征提取xu和系统事件特征提取xe提取的相关特征进行整合，组成特征数据集xfeatures。

26、优选的，其中，数据包平均值asize通过计算网络连接中所有数据包大小的平均值获取；传输速率trate通过计算固定时间内传输的数量获取；协议类型频率pfreq通过统计不同协议类型的使用频率获取；事件类型频率etfreq通过统计不同类型事件的发生频率获取；事件时间分布etdist通过统计事件在一个自然日每个小时段中的分布频率获取。

27、优选的，其中，用户登录频率lfreq通过统计登录自然日的登录次数与总登录次数比例获取；操作类型频率atfreq通过统计用户执行不同类型操作序列号的频率获取；系统事件类型频率setfreq通过统计不同类型系统事件序列号的发生频率获取；cpu使用率cusage通过统计系统在不同时间段的cpu使用情况获取；错误和警告事件频率ewfreq通过统计固定周期内发生的错误事件和警告时间频率获取。

28、优选的，所述行为分析模块包括建模单元；

29、所述建模单元通过使用机器学习算法进行建立基线模型m，包括选择混合高斯模型作为基线模型m，通过将特征数据集xfeatures输入基线模型m进行训练和分析，获取特征数据集xfeatures中若干个数据点的偏离无异常行为模式的程度：异常评估指数s，进行评估访问者的行为偏离正常模式的状态；

30、其中，特征数据集xfeatures具体为：xfeatures={xf，xl，xu，xe}；

31、所述异常评估指数s通过以下计算公式获取：

32、；

33、式中，s表示异常评估指数，具体表示特征数据集xfeatures的异常表现，表示特征数据集xfeatures在基线模型m下的概率，具体表示通过混合高斯模型的高斯分布的加权组合来拟合数据获取，log表示自然对数函数。

34、优选的，其中，高斯分布的加权组合来拟合数据的公式如下：

35、；

36、式中，表示特征数据集xfeatures的概率分布，k表示高斯成分的数量，具体表示混合高斯模型中高斯分布的个数，表示第k个高斯成分的权重，具体表示第k个高斯成分在整个混合高斯模型中的贡献比例，满足，表示第k个高斯成分的正态分布，具体用于描述特征数据集xfeatures在第k个高斯成分下的概率密度，表示第k个高斯成分的均值向量，具体表示第k个高斯成分的中心位置，表示第k个高斯成分的协方差矩阵，具体表示第k个高斯成分的分布范围和方向；

37、其中，第k个高斯成分的正态分布公式如下：

38、；

39、式中，d表示特征数据集xfeatures的维度，具体表示特征数据集xfeatures的数量，表示协方差矩阵的行列式，具体表示协方差矩阵的规模，表示特征数据集xfeatures减去均值向量后的转置，表示协方差矩阵的逆矩阵，exp表示指数函数，具体表示混合高斯模型的高斯分布的指数部分。

40、优选的，所述异常检测模块包括匹配单元和响应单元；

41、所述匹配单元通过预设的相关信息与需要的对比值进行匹配，包括异常评估指数s与预设的异常评估阈值y进行匹配，获取访问者异常评估策略方案；

42、异常评估指数s＜异常评估阈值y，获取访问者无异常评估结果，不对当前访问者进行限制和监控相关人员的通知；

43、异常评估指数s≥异常评估阈值y，获取访问者异常评估结果，对当前访问者进行限制和监控相关人员的通知；

44、异常评估指数s≥异常评估阈值y两倍，获取访问者预警评估结果，对当前访问者进行的行为和操作冻结和执行相关紧急安全管理人员通知；

45、所述响应单元根据访问者异常评估策略方案内容对访问者进行执行相应的相应措施，包括访问者的访问限制和相关人员通知，访问限制包括阻止访问者登录、结束会话、限制访问资源、限制访问目录、多因素认证和限制访问者权限，通知包括安全管理员通知和网络监控团队通知。

46、一种基于数据分析的网络信息安全分析方法，包括以下步骤：

47、步骤一：数据采集模块通过系统日志和安全事件管理工具实时采集数据，包括收集访问者网络流量数据、日志数据、用户行为数据和系统事件数据，组成采集数据集d；

48、步骤二：数据预处理模块对采集数据集d进行预处理，包括数据去噪预处理、填补缺失值预处理和数据格式转换预处理，组成处理后的数据集；

49、步骤三：特征提取模块对数据集进行特征提取，包括网络流量特征提取xf、日志特征提取xl、行为特征提取xu和系统事件特征提取xe，组成特征数据集xfeatures；

50、步骤四：行为分析模块通过使用机器学习算法进行建立基线模型，通过将特征数据集xfeatures输入基线模型进行训练和分析，获取偏离无异常行为模式的程度：异常评估指数s；

51、步骤五：异常检测模块对异常评估指数s与预设的异常评估阈值y进行匹配，获取访问者异常评估策略方案，并根据访问者异常评估策略方案内容对访问者进行执行相应的相应措施，包括访问者的访问限制和相关人员通知。

52、（三）有益效果

53、本发明提供了一种基于数据分析的网络信息安全分析方法及系统，具备以下有益效果：

54、（1）系统运行时，实现了对网络安全的全面监控和智能化防护。首先，系统实时采集访问者的网络流量、日志、用户行为和系统事件数据，形成完整的数据集d。接着，通过数据去噪、填补缺失值和数据格式转换预处理步骤，提高了数据的质量和一致性。特征提取模块进一步从网络流量、日志、用户行为和系统事件中提取关键特征，形成特征数据集xfeatures，行为分析模块利用机器学习算法建立基线模型，通过历史数据和特征数据集的训练和分析，获取异常评估指数s，最后，异常检测模块根据s与预设阈值y的匹配结果，制定访问者异常评估策略，并实施相应的访问限制和通知措施，通过多源数据采集，系统提供了全局的安全视角，消除了单一设备的防护盲区，实现了全面的网络监控，以及特征提取和行为分析模块通过智能算法精准提取关键特征，建立了行为基线模型，能够准确识别和评估异常行为。

55、（2）通过将网络流量特征提取xf、日志特征提取xl、行为特征提取xu和系统事件特征提取xe提取的相关特征进行整合，组成特征数据集xfeatures，以及通过将特征数据集xfeatures输入基线模型m进行训练和分析，获取特征数据集xfeatures中若干个数据点的偏离无异常行为模式的程度：异常评估指数s，提高了异常检测的准确性和敏感度，能够精确识别正常和异常行为模式。

56、（3）通过异常评估指数s与预设的异常评估阈值y进行匹配，获取访问者异常评估策略方案，并对方案内容的具体执行，即执行访问限制和通知措施，确保能够快速响应潜在威胁，防止安全事件的进一步扩散，通过响应措施涵盖了从登录阻止、会话结束到资源访问限制和权限控制等多个方面，提供了全面的安全防护，能够有效防范多种类型的安全威胁。