一种基于行为基线异常分析和事件编排的辅助决策方法与流程

1.本发明涉及网络安全技术领域，更为具体的，涉及一种基于行为基线异常分析和事件编排的辅助决策方法。


背景技术：

2.随着计算机网络的快速发展，网络安全威胁日益严峻，通过对网络安全设备产生的告警日志进行分析，是网络安全态势感知的一种重要手段。
3.但目前存在网络环境愈发复杂、攻击手段愈发多样、安全分析人员经验难以固化等问题，使得传统的人工分析方式难以应对海量的告警日志信息，阻碍了对真正威胁的及时响应。现有技术中存在如下问题：1)由于网络环境的日渐复杂性，难以准确分析、定位告警信息；2)流程上部分环节依赖于人工，技术分析门槛受限于人的认知，协同性较差，网络安全决策负担较重；3)数据包在传输过程中会经过多个网络安全设备，存在大量重复告警，导致分析效率低下等。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种基于行为基线异常分析和事件编排的辅助决策方法，不仅能够从流程上打通、团队上协同，还能够降低网络安全分析技术门槛、减轻网络安全决策负担等。
5.本发明的目的是通过以下方案实现的：
6.一种基于行为基线异常分析和事件编排的辅助决策方法，包括步骤：
7.s1，基于行为基线异常分析定位真实告警信息，编排网络安全事件分析模型；
8.s2，采用编排的网络安全事件分析模型，对定位到的真实告警信息进行告警处置。
9.进一步地，在步骤s1中所述基于行为基线异常分析定位真实告警信息包括子步骤：
10.s101，定义告警数据字段；
11.s102，以步骤s101定义的告警数据字段作为特征，对在某个设定时间范围内的重复告警日志记录进行去重筛选；
12.s103，对步骤s102筛选的告警日志中，从告警数据字段中的告警类型、名称、类型占比、请求头、响应头建立每台内网主机的行为基线，采用告警数据字段中的源ip、目的ip、告警信息、告警时间作为选择的组合特征进行建模；
13.s104，对步骤s103选择的组合特征进行特征编码；
14.s105，对步骤s104中进行特征编码后的特征，进行异常检测。
15.进一步地，在步骤s1中所述编排网络安全事件分析模型，包括子步骤：
16.s111，采用安全事件编排剧本设计相应的流程剧本，且剧本由动作和处理逻辑两部分组成；
17.s112，通过将多源异构的安全事件进行重定义和分析形成安全分析与响应引擎，
完成复杂安全场景的分析，用于实现自动化、api化地驱动各应用；
18.s113，通过网络安全事件编排对典型网络安全事件场景进行编排，形成对应的网络安全处置模型。
19.进一步地，在步骤s2中，包括子步骤：
20.s201，采用网络安全设备分布式调度将安全目标进行分解，结合网络安全资源，构建网络安全资源综合管理模型；
21.s202，采用多点异构安全设备处置命令自动下发建立网络安全设备联动api接口，构建异构设备安全处置命令下发脚本，实现决策指令在不同设备之间下发与执行，通过调用编排的所述网络安全事件分析模型，达到自动化告警处置。
22.进一步地，在步骤s101中，所述告警数据字段的公式化表示如下：
23.a＝[time,sip,dip,device_ip,dport,event_type,event_name,payload, q_dody,r_body]
[0024]
其中，a为单条告警数据，time为告警产生时间、sip为源ip、dip为目的ip、device_ip为产生该条告警的探针ip、dport为目的端口、event_type 为告警类型、event_name为告警名称、payload为告警载荷、q_body为web 访问的请求体、r_body为web请求的响应体。
[0025]
进一步地，在步骤s102中，以源ip、目的ip、告警信息、告警时间作为组合特征，对在某个设定时间范围内的重复告警日志记录进行去重，公式化表示如下：
[0026][0027]
满足，
[0028]
|a1[time]-a2[time]|《timestamp
[0029]
其中：a1,a2分别为不同的告警数据，r为是否去重，f为告警数据相似度衡量函数，t为相似度阈值，timestamp为时间窗阈值；若告警数据a1,a2产生的时间在timestamp内，且a1,a2之间的相似度大于等于阈值t，则表示a1,a2为重复告警即r＝1，否则为不同告警即r＝0。
[0030]
进一步地，在步骤s103中，包括子步骤：
[0031]
首先构建基本子集{sip,dip}；
[0032]
然后计算其他特征列和基本子集的互信息量，若互信息量小于阈值则保留，特征x1、x2的互信息量计算公式表示如下：
[0033][0034]
其中：s1,s2分别表示x1,x2的状态空间；
[0035]
最终选择源ip、目的ip、告警信息、告警时间作为组合特征进行建模。
[0036]
进一步地，在步骤s104中，所述特征编码为采用哈希编码和one-hot 编码组合的二进制编码。
[0037]
进一步地，在步骤s105中，所述进行异常检测包括采用孤立森林算法，利用孤立树二叉搜索树结构来孤立样本，具体包括以下子步骤：
[0038]
s501，从数据集x中抽取用于建立孤立树的样本集y，并计算该树的最大深度，计算
公式表示如下：
[0039][0040]
其中：max_depth为孤立树的最大深度，s为样本集y的样本数目，为向上取整操作符；
[0041]
s502，对样本集y中的样本构建孤立树结构；由于异常样本数量远远小于正常样本，当样本数据划分到一定程度后，对于深度较大的正常样本不再继续划分；
[0042]
s503，重复步骤s501和步骤s502的操作，直至完成n个孤立树的构建；
[0043]
s504，n个孤立树构建完成后，计算树的平均深度及数据集x中样本的孤立值，计算公式如下：
[0044][0045]
其中：x为数据集x中的样本，t为数据集x的大小，depth(x)为样本x在孤立树中的深度，mean(depth(x))为样本x在其孤立森林中的平均深度， mean_depth_forest(t)为孤立树构建完成后，所有孤立树的平均深度。
[0046]
进一步地，所述二进制编码包括子步骤：首先使用顺序编码器将包含源ip、目的ip、告警信息、告警时间的组合特征的告警数据字段转换为数值，然后将得到的数值转换为二进制列数据；其中对告警发生时间进行取整处理。
[0047]
本发明的有益效果是：
[0048]
本发明实施例提供了包括快速精准定位真实告警信息、预先编排网络安全事件分析标准模型、告警自动化处置为一体的网络安全事件处置方案，不仅能够从流程上打通、团队上协同，还能够降低网络安全分析技术门槛、减轻网络安全决策负担。
[0049]
本发明实施例提供的基于行为基线异常分析技术能够过滤80％以上的无效告警，极大地提升了安全分析人员决策的有效性。
附图说明
[0050]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0051]
图1为告警日志分布情况示意图；
[0052]
图2为本发明实施例的整体流程图；
[0053]
图3为本发明实施例的基于行为基线异常分析技术流程图；
[0054]
图4为本发明实施例的孤立树示意图；
[0055]
图5为本发明实施例的剧本设计示意图。
具体实施方式
[0056]
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0057]
下面根据附图1～图5，对本发明实际解决的技术问题、技术构思、工作原理、工作过程和实际技术效果作进一步详细说明。
[0058]
本发明为了解决背景技术中提出的问题，提供一种在海量告警日志中快速精准地定位真正的威胁，并通过预先编排的网络安全事件分析标准模型实现自动化告警处置为一体的网络安全事件处置架构的方案，该方案为辅助网络安全人员进行决策分析提供技术支撑。具体实施中，如图3所示，本发明实施例采用基于行为基线异常分析技术，从海量告警日志中快速精准定位亟需处理的真实告警信息，得到的真实告警信息通过预先编排的网络安全事件分析标准模型进行自动化告警处置。具体实现步骤如下：1、采用基于行为基线异常分析技术精确定位真实告警信息；2、编排网络安全事件分析标准模型；3、自动化告警处置。
[0059]
在具体应用时，本发明实施例还提供一种基于行为基线异常分析和事件编排的辅助决策方法的技术方案，具体包括以下步骤：
[0060]
(1)采用基于行为基线异常分析技术，从海量告警日志中有效去除/ 融合重复告警信息，并进一步快速精准定位真实告警信息；
[0061]
(2)预先将不同的人员角色、安全能力接口、各类信息数据等按照特定场景进行组合编排，形成网络安全事件分析标准模型；
[0062]
(3)采用步骤(2)中预先编排的网络安全事件分析标准模型，对步骤(1)中得到的告警信息进行自动化告警处置。
[0063]
在采用如上实施例中方案解决背景技术中提出的问题的过程中，又遇到了如下问题：
[0064]
①
应对海量日志信息络如何快速精准定位亟需处理的真实告警信息。
[0065]
②
得到的真实告警信息后，如何进行自动化处置，降低人工参与分析和决策。
[0066]
为了解决技术问题
①
，本发明在具体实施过程中，对对步骤(1)中所述基于行为基线异常分析技术设计以下子步骤：
[0067]
(1-1)定义的告警数据字段；
[0068]
(1-2)以定义的告警数据字段如源ip、目的ip、告警信息、告警时间等作为特征，对在某个特定时间范围内的重复告警日志记录进行去重；
[0069]
(1-3)对步骤(1-2)筛选的告警日志中，从告警类型、名称、类型占比、请求头、响应头建立每台内网主机的行为基线，采用源ip、目的ip、告警信息、告警时间作为组合特征进行建模；
[0070]
(1-4)对步骤(1-3)选择的特征进行特征编码，其中源ip、目的ip、告警信息采用二进制编码，告警时间编码采用小时位；
[0071]
(1-5)对步骤(1-4)中进行特征编码后的特征，采用孤立森林算法进行异常检测。
[0072]
在具体实施步骤(1)的子步骤(1-1)的过程中，又遇到如下技术问题：
③
如何分析网络安全防护设备告警日志的分布规律以及如何定义告警数据字段；
④
解决存在大量重复告警的问题。本发明实施例针对技术问题
③
和
④
，设计如下子步骤：
[0073]
步骤1：定义告警数据字段。告警数据字段包括告警产生时间(time)、源ip(sip)、目的ip(dip)、产生该条告警的探针ip(device_ip)、目的端口(dport)、告警类型(event_type)、告警名称(event_name)、告警载荷 (payload)、web访问的请求体(q_body)、web请求的响应体(r_body)。公式化表示如下：
[0074]
a＝[time,sip,dip,device_ip,dport,event_type,event_name,payload, q_dody,r_body]
[0075]
其中，a为单条告警数据。
[0076]
步骤2：告警数据去重。以源ip、目的ip、告警信息、告警时间作为组合特征，对在某个特定时间范围内的重复告警日志记录进行去重。公式化表示如下：
[0077][0078]
满足，
[0079]
|a1[time]-a2[time]|《timestamp
[0080]
其中：a1,a2分别为不同的告警数据，r为是否去重，f为告警数据相似度衡量函数，t为相似度阈值，timestamp为时间窗阈值。若告警数据a1,a2产生的时间在timestamp内，且a1,a2之间的相似度大于等于阈值t，则表示a1,a2为重复告警(即r＝1)，否则为不同告警(即r＝0)。
[0081]
在具体实施步骤(1)的子步骤(1-2)的过程中，又遇到如下技术问题：
⑤
如何进行特征选取，降低数据维度。本发明实施例针对技术问题
⑤
，设计如下子步骤：
[0082]
步骤3：特征选择。从原始特征中选择出一些最有效特征以降低数据维度，采用计算互信息的方法选择特征子集，首先构建基本子集{sip,dip}，然后计算其他特征列和基本子集的互信息量，若互信息量小于阈值则保留，特征x1、x2的互信息量计算公式表示如下：
[0083][0084]
其中：s1,s2分别表示x1,x2的状态空间。最终选择源ip、目的ip、告警信息、告警时间作为组合特征进行建模。
[0085]
步骤4：特征编码。采用二进制编码对源ip、目的ip、告警信息等字段进行特征编码，二进制编码是哈希编码和one-hot编码的组合，即首先使用顺序编码器将字段转换为数值，然后将得到的数值进一步转换为二进制列数据。对于告警时间编码采用小时位，即对告警发生时间进行小时位取整。
[0086]
步骤5：构建异常检测模型。采用孤立森林算法，利用孤立树二叉搜索 树结构来孤立样本，具体包括以下子步骤：
[0087]
步骤5.1：从数据集x中抽取用于建立孤立树的样本集y，并计算该树的最大深度，计算公式表示如下：
[0088][0089]
其中：max_depth为孤立树的最大深度，s为样本集y的样本数目，为向上取整操作符。
[0090]
步骤5.2：对样本集y中的样本按照图4的方式构建孤立树结构，由于异常样本数量远远小于正常样本，当样本数据划分到一定程度后，对于深度较大的正常样本不再继续划分。
[0091]
步骤5.3：重复步骤5.1和步骤5.2的操作，直至完成n个孤立树的构建。
[0092]
步骤5.4：n个孤立树构建完成后，计算树的平均深度及数据集x中样本的孤立值。
计算公式如下：
[0093][0094]
其中：x为数据集x中的样本，t为数据集x的大小，depth(x)为样本x在孤立树中的深度，mean(depth(x))为样本x在其孤立森林中的平均深度， mean_depth_forest(t)为孤立树构建完成后，所有孤立树的平均深度。
[0095]
在上述编排网络安全事件分析标准模型的步骤中，包括子步骤：
[0096]
步骤1：剧本设计。采用安全事件编排剧本设计技术，设计相应的流程剧本。剧本由动作和处理逻辑两部分组成。接收到基于行为基线异常分析技术定位真实告警信息后，在具体实施时，可以采用一种如图5所示的剧本设计流程。
[0097]
步骤2：网络安全事件编排。通过将多源异构的安全事件进行重定义和自动分析，形成安全分析与响应引擎，完成复杂安全场景的分析，实现自动化、api化地驱动各应用。
[0098]
步骤3：典型网络安全事件场景编排。通过网络安全事件编排技术，对典型网络安全事件场景(如网络攻击分析、恶意文件分析等场景)进行编排，形成对应的网络安全自动处置模型。
[0099]
在上述自动化告警处置的步骤中，包括子步骤：
[0100]
步骤1：采用网络安全设备分布式调度技术将安全目标进行分解，结合已有网络安全资源，构建网络安全资源综合管理模型。
[0101]
步骤2：采用多点异构安全设备处置命令自动下发技术，建立网络安全设备联动api接口，构建异构设备安全处置命令下发脚本，实现决策指令在不同设备之间下发与执行，通过调用事先编排的网络安全事件分析标准模型，达到自动化告警处置的目的。
[0102]
实施例1：一种基于行为基线异常分析和事件编排的辅助决策方法，包括步骤：
[0103]
s1，基于行为基线异常分析定位真实告警信息，编排网络安全事件分析模型；
[0104]
s2，采用编排的网络安全事件分析模型，对定位到的真实告警信息进行告警处置。
[0105]
实施例2：在实施例1的基础上，在步骤s1中所述基于行为基线异常分析定位真实告警信息包括子步骤：
[0106]
s101，定义告警数据字段；
[0107]
s102，以步骤s101定义的告警数据字段作为特征，对在某个设定时间范围内的重复告警日志记录进行去重筛选；
[0108]
s103，对步骤s102筛选的告警日志中，从告警数据字段中的告警类型、名称、类型占比、请求头、响应头建立每台内网主机的行为基线，采用告警数据字段中的源ip、目的ip、告警信息、告警时间作为选择的组合特征进行建模；
[0109]
s104，对步骤s103选择的组合特征进行特征编码；
[0110]
s105，对步骤s104中进行特征编码后的特征，进行异常检测。
[0111]
实施例3：在实施例1的基础上，在步骤s1中所述编排网络安全事件分析模型，包括子步骤：
[0112]
s111，采用安全事件编排剧本设计相应的流程剧本，且剧本由动作和处理逻辑两部分组成；
[0113]
s112，通过将多源异构的安全事件进行重定义和分析形成安全分析与响应引擎，
完成复杂安全场景的分析，用于实现自动化、api化地驱动各应用；
[0114]
s113，通过网络安全事件编排对典型网络安全事件场景进行编排，形成对应的网络安全处置模型。
[0115]
实施例4：在实施例1的基础上，在步骤s2中，包括子步骤：
[0116]
s201，采用网络安全设备分布式调度将安全目标进行分解，结合网络安全资源，构建网络安全资源综合管理模型；
[0117]
s202，采用多点异构安全设备处置命令自动下发建立网络安全设备联动api接口，构建异构设备安全处置命令下发脚本，实现决策指令在不同设备之间下发与执行，通过调用编排的所述网络安全事件分析模型，达到自动化告警处置。
[0118]
实施例5：在实施例2的基础上，在步骤s101中，所述告警数据字段的公式化表示如下：
[0119]
a＝[time,sip,dip,device_ip,dport,event_type,event_name,payload,
[0120]
q_dody,r_body]
[0121]
其中，a为单条告警数据，time为告警产生时间、sip为源ip、dip为目的ip、device_ip为产生该条告警的探针ip、dport为目的端口、event_type 为告警类型、event_name为告警名称、payload为告警载荷、q_body为web 访问的请求体、r_body为web请求的响应体。
[0122]
实施例6：在实施例2的基础上，在步骤s102中，以源ip、目的ip、告警信息、告警时间作为组合特征，对在某个设定时间范围内的重复告警日志记录进行去重，公式化表示如下：
[0123][0124]
满足，
[0125]
|a1[time]-a2[time]|《timestamp
[0126]
其中：a1,a2分别为不同的告警数据，r为是否去重，f为告警数据相似度衡量函数，t为相似度阈值，timestamp为时间窗阈值；若告警数据a1,a2产生的时间在timestamp内，且a1,a2之间的相似度大于等于阈值t，则表示a1,a2为重复告警即r＝1，否则为不同告警即r＝0。
[0127]
实施例7：在实施例2的基础上，在步骤s103中，包括子步骤：
[0128]
首先构建基本子集{sip,dip}；
[0129]
然后计算其他特征列和基本子集的互信息量，若互信息量小于阈值则保留，特征x1、x2的互信息量计算公式表示如下：
[0130][0131]
其中：s1,s2分别表示x1,x2的状态空间；
[0132]
最终选择源ip、目的ip、告警信息、告警时间作为组合特征进行建模。
[0133]
实施例8：在实施例2的基础上，在步骤s104中，所述特征编码为采用哈希编码和one-hot编码组合的二进制编码。
[0134]
实施例9：在实施例2的基础上，在步骤s105中，所述进行异常检测包括采用孤立森
林算法，利用孤立树二叉搜索树结构来孤立样本，具体包括以下子步骤：
[0135]
s501，从数据集x中抽取用于建立孤立树的样本集y，并计算该树的最大深度，计算公式表示如下：
[0136][0137]
其中：max_depth为孤立树的最大深度，s为样本集y的样本数目，为向上取整操作符；
[0138]
s502，对样本集y中的样本构建孤立树结构；由于异常样本数量远远小于正常样本，当样本数据划分到一定程度后，对于深度较大的正常样本不再继续划分；
[0139]
s503，重复步骤s501和步骤s502的操作，直至完成n个孤立树的构建；
[0140]
s504，n个孤立树构建完成后，计算树的平均深度及数据集x中样本的孤立值，计算公式如下：
[0141][0142]
其中：x为数据集x中的样本，t为数据集x的大小，depth(x)为样本x在孤立树中的深度，mean(depth(x))为样本x在其孤立森林中的平均深度，mean_depth_forest(t)为孤立树构建完成后，所有孤立树的平均深度。
[0143]
实施例10：在实施例8的基础上，所述二进制编码包括子步骤：首先使用顺序编码器将包含源ip、目的ip、告警信息、告警时间的组合特征的告警数据字段转换为数值，然后将得到的数值转换为二进制列数据；其中对告警发生时间进行取整处理。
[0144]
本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，在一台计算机设备(可以是个人计算机，服务器，或者网络设备等)以及相应的软件中执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、或者光盘等各种可以存储程序代码的介质，进行测试或者实际的数据在程序实现中存在于只读存储器(randomaccessmemory，ram)、随机存取存储器(randomaccessmemory，ram)等。