一种基于数据行为偏执的行为异常检测方法及系统与流程

本发明涉及基于计算机软件和网络业务服务中用户行为及应用行为异常检测，尤其是涉及一种基于数据行为偏执的行为异常检测方法及系统。

背景技术：

1、在网络与业务运维中通常采用统计量阈值机制识别用户行为异常。比如tcp网络攻击行为的监测，通常设置单用户访问频度以及网络总体tcp链接建立增量变化的阈值来快速判断可能受到tcp攻击，udp攻击及icmp攻击的快速检测也是采用类似思路。

2、上述现有技术识别用户行为异常，这种机制至少存在以下缺陷：其一，数据行为在时间轴上可能存在波动，但在工程实践中阈值不能与时间周期上的合理波动相适应，即阈值设置要么过大或过小，导致检测有效性不足；其二，难以适应业务量的波动，如，业务量增加时，异常量增加；业务量降低时，异常量随之降低，阈值机制在这种情况下也会导致检测有效性不足甚至误判；其三，是阈值机制不能随总体行为的正常改变而自适应调整，即在工程实践中，总体行为发生改变后需要重新调整阈值，在总体行为自然渐进改变的过程中，阈值机制会长时间处于有效性不足甚至失效状态。

技术实现思路

1、为此，本发明的一个目的在于提出一种基于数据行为偏执的行为异常检测方法及系统，以解决背景技术中所提到的问题，克服现有技术中存在的不足。

2、为了实现上述目的，本发明采用以下技术方案：

3、一种基于数据行为偏执的行为异常检测方法，包括：获取相关业务指标；所述相关业务指标分为训练样本集与实时检测样本集；根据相关业务指标确定输入向量；根据训练样本集、输入向量和基于流量波动影响抑制的数据行为偏执量公式计算理论数据行为偏执指标对理论数据行为偏执指标数据进行常态均值回归，得到期望回归曲线f(t)、上包络线u(t)、下包络线d(t)和放大包络线r(t)；根据实时检测样本集、输入向量和基于流量波动影响抑制的数据行为偏执量公式计算业务形态下的数据行为偏执指标将业务形态下的数据行为偏执指标与期望回归曲线f(t)、上包络线u(t)、下包络线d(t)和放大包络线r(t)进行比较，得到业务行为异常检测结果。

4、作为优选，所述相关指标至少包括tcp上行报文数、tcp下行报文数、syn请求次数、syn应答次数、tcp上行流量和tcp下行流量。

5、作为优选，所述输入向量和所述基于流量波动影响抑制的数据行为偏执量公式如下：

6、输入向量：

7、{vt:当前时间，v1:tcp上行报文计数，v2:tcp下行报文计数，v3:上行tcp

8、-syn次数，v4:下行tcp-ack次数}

9、数据行为偏执量公式：

10、pθt(t)＝p0(t)+μ(t)

11、

12、

13、其中，p0(t)表示属性业务质量指标数据的加权函数，μ(t)为期望负载指标抑制函数，δ为负载变化抑制程度，为时域周期上同时刻的历史中心值，γ为偏执类型权重，0≤γ≤1。

14、作为优选，在根据训练样本集、输入向量和基于流量波动影响抑制的数据行为偏执量公式计算理论数据行为偏执指标之前，还包括：将训练样本集按照采样周期进行分组，即所统周期内所有同一个时间点的数据作为当前时间点的一个待统计序列，设所统时间序列t＝{t1,t2,...,tp}，各时间点的原始偏执矩阵为tp、分别表示采样时间周期的时间递增序列和各时间序列点的原始偏执序列。

15、作为优选，在对理论数据行为偏执指标数据进行常态均值回归之前，还包括：利用分位数极差法去除理论数据行为偏执指标数据中的异常数据。

16、作为优选，所述业务形态下的数据行为偏执指标与期望回归曲线f(t)、上包络线u(t)、下包络线d(t)和放大包络线r(t)进行比较，得到业务行为异常检测结果具体过程如下：

17、业务形态下的数据行为偏执指标与期望回归曲线f(t)、上包络线u(t)、下包络线d(t)和放大包络线r(t)进行比较，具体比较结果如下：

18、若则该时刻的偏执检测结果为业务异常，系统发出实时告警；

19、若则该时刻的偏执检测结果为业务疑似异常，系统发出实时告警；

20、若则该时刻的偏执检测结果为业务正常；

21、若则该时刻的偏执检测结果为业务正常；

22、若则该时刻的偏执检测结果为系统异常，系统发出实时告警。

23、作为优选，还包括：在固定周期内采样若干个监测点，监测点的数目记为a，预设偏执强度量化阈值t1、t2，t1>t2>0，统计历史固定周期内监测点中的畸变点数目，记为b，判断与阈值t1、t2的关系；具体地，若则偏执强度为0；若则偏执强度为3；若则偏执强度为2；若则偏执强度为1。

24、本发明还提供一种基于数据行为偏执的行为异常检测系统，包括：指标获取模块，用于获取相关业务指标；向量生成模块，根据获取的相关业务指标生成输入向量；偏执指标计算模块，根据基于流量波动影响抑制的数据行为偏执量公式计算理论数据行为偏执指标和业务形态下的数据行为偏执指标曲线图像生成模块，根据偏执指标计算模块的计算结果生成期望回归曲线f(t)、上包络线u(t)、下包络线d(t)和放大包络线r(t)及其图像；检测比较模块，根据业务形态下的数据行为偏执指标与期望回归曲线f(t)、上包络线u(t)、下包络线d(t)和放大包络线r(t)进行比较，并输出比较结果；偏执强度确定模块，计算确定业务的偏执强度并输出；存储模块，存储各个模块产生的相关数据；显示模块，对曲线图像生成模块、检测比较模块和偏执强度确定模块的输出结果进行显示；报警模块，根据检测比较模块的比较结果和偏执强度确定模块输出的偏执强度进行告警。

25、本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的一种基于数据行为偏执的行为异常检测方法的步骤。

26、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的一种基于数据行为偏执的行为异常检测方法。

27、因此，本发明具有以下有益效果：

28、本发明的一种基于数据行为偏执的行为异常检测方法及系统，从业务时间、业务量变化、异常行为影响多个维度采集数据，引入数学模型，将数据行为异常影响量化，通过异常影响深度来识别行为异常行为更有效；本发明建立了数据行为偏执周期波动模型，即基于流量波动影响抑制的数据行为偏执量公式，消除时间周期上的波动影响，对异常行为识别更准确；本发明建立业务量波动影响抑制函数，用于抑制业务量波动对异常行为检测有效性的影响。

29、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于数据行为偏执的行为异常检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于数据行为偏执的行为异常检测方法，其特征在于，所述相关指标至少包括tcp上行报文数、tcp下行报文数、syn请求次数、syn应答次数、tcp上行流量和tcp下行流量。

3.根据权利要求1所述的一种基于数据行为偏执的行为异常检测方法，其特征在于，所述输入向量和所述基于流量波动影响抑制的数据行为偏执量公式如下：

4.根据权利要求1所述的一种基于数据行为偏执的行为异常检测方法，其特征在于，在根据训练样本集、输入向量和基于流量波动影响抑制的数据行为偏执量公式计算理论数据行为偏执指标之前，还包括：将训练样本集按照采样周期进行分组，即所统周期内所有同一个时间点的数据作为当前时间点的一个待统计序列，设所统时间序列t＝{t1,t2,...,tp}，各时间点的原始偏执矩阵为tp、分别表示采样时间周期的时间递增序列和各时间序列点的原始偏执序列。

5.根据权利要求1所述的一种基于数据行为偏执的行为异常检测方法，其特征在于，在对理论数据行为偏执指标数据进行常态均值回归之前，还包括：利用分位数极差法去除理论数据行为偏执指标数据中的异常数据。

6.根据权利要求1所述的一种基于数据行为偏执的行为异常检测方法，其特征在于，所述业务形态下的数据行为偏执指标与期望回归曲线f(t)、上包络线u(t)、下包络线d(t)和放大包络线r(t)进行比较，得到业务行为异常检测结果具体过程如下：

7.根据权利要求6所述的一种基于数据行为偏执的行为异常检测方法，其特征在于，还包括：在固定周期内采样若干个监测点，监测点的数目记为a，预设偏执强度量化阈值t1、t2，t1>t2>0，统计历史固定周期内监测点中的畸变点数目，记为b，判断与阈值t1、t2的关系；

8.一种基于数据行为偏执的行为异常检测系统，适用于权利要求1所述的一种基于数据行为偏执的行为异常检测方法，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7所述的一种基于数据行为偏执的行为异常检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7所述的一种基于数据行为偏执的行为异常检测方法的步骤。

技术总结本发明公开了一种基于数据行为偏执的行为异常检测方法及系统，方法包括：获取相关业务指标；确定输入向量；计算理论数据行为偏执指标；对理论数据行为偏执指标数据进行常态均值回归，得到期望回归曲线、上包络线、下包络线和放大包络线；计算业务形态下的数据行为偏执指标；将业务形态下的数据行为偏执指标与期望回归曲线、上包络线、下包络线和放大包络线进行比较，得到业务行为异常检测结果。本发明将数据行为异常影响量化，通过异常影响深度来识别行为异常行为更有效；建立了数据行为偏执周期波动模型，消除时间周期上的波动影响，对异常行为识别更准确；建立业务量波动影响抑制函数，用于抑制业务量波动对异常行为检测有效性的影响。技术研发人员：郭大兴,郑友康,吴礼受保护的技术使用者：飞思达技术（北京）有限公司技术研发日：技术公布日：2024/8/1