告警信息分类的方法、装置及电子设备与流程
- 国知局
- 2024-11-06 15:00:30
本技术涉及网络安全领域,具体而言,涉及一种告警信息分类的方法、装置及电子设备。
背景技术:
1、为了保障计算机系统长期稳定运行,需要对服务器的主机状态、cpu、内存、磁盘、文件系统和进程等指标进行实时监控与告警处理。目前常见的服务器告警处理流程是由监控系统下发告警短信至相关运维人员,由运维人员进行人工处理,然而,人工逐条对告警信息进行处理的模式耗时耗力,并且,该模式依赖于监控系统采集数据的准确性和实时性,无法对历史告警数据加以利用分析,除此之外,由于会出现误告警等问题,导致对不同类型的告警难以进行准确识别。
2、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本技术实施例提供了一种告警信息分类的方法、装置及电子设备,以至少解决相关技术无法对不同类型的告警信息进行准确区分的技术问题。
2、根据本技术实施例的一个方面,提供了一种告警信息分类的方法,包括:获取待分类的设备告警信息,其中,设备告警信息包括多种特征信息;对设备告警信息中的多种特征信息进行向量化处理,得到多种特征信息对应的第一编码集合;对第一编码集合中多种特征信息分别对应的第一编码进行标准化处理,得到多种特征信息对应的第二编码集合;采用信息分类模型对第二编码集合中的特征向量进行分类,得到设备告警信息的告警类型。
3、在本技术的一些实施例中,对第一编码集合中多种特征信息分别对应的第一编码进行标准化处理,包括:确定多种特征信息的属性,以及多种特征信息的属性之间的相关性;根据属性和/或相关性对多种特征信息分别对应的第一编码进行标准化。
4、在本技术的一些实施例中,多种特征信息包括:ip信息;属性包括:ip信息中的ip地址每段数据所对应的取值范围;通过以下方式对多种特征信息分别对应的第一编码进行标准化:根据ip地址的取值范围确定对ip信息的第一编码进行加权的权重;根据权重对ip信息的第一编码进行加权。
5、在本技术的一些实施例中,多种特征信息包括:设备告警信息所属的告警类型在统计周期内重复出现的次数和告警时间;相关性包括:重复出现的次数与告警时间存在的时间依赖性;通过以下方式对多种特征信息分别对应的第一编码进行标准化,包括:利用重复出现的次数对应的第一编码中的月出现比例、日出现比例、小时出现比例作为权重因子,对第一编码中与重复出现的次数存在时间依赖性的月告警时间点、日告警时间点、小时告警时间点进行加权,其中,日告警时间点为月告警时间点所对应统计周期中的子时间点,小时告警时间点为日告警时间点所对应统计周期中的子时间点。
6、在本技术的一些实施例中,信息分类模型通过以下方式训练得到:获取设备历史告警信息,其中,设备历史告警信息包括多种特征信息;对设备历史告警信息中的多种特征信息进行向量化处理,得到多种特征信息对应的第一编码集合;对多种特征信息对应的第一编码集合中多种特征信息分别对应的第一编码进行标准化处理,得到多种特征信息分别对应的第二编码集合;将多种特征信息分别对应的第二编码进行组合,得到设备历史告警信息的特征向量集合;采用初始信息分类模型的双向神经网络对设备历史告警信息的特征向量集合中的特征向量进行第一预测,得到第一预测向量,其中,第一预测为双向神经网络中输入层到输出层的前向传播过程;根据第一预测向量更新信息分类模型的模型参数;采用信息分类模型的双向神经网络对第一预测向量进行第二预测,得到第二预测向量,其中,第二预测为双向神经网络中输出层到输入层的反向传播过程;根据第二预测向量更新信息分类模型的模型参数。
7、在本技术的一些实施例中,对设备告警信息中的多种特征信息进行向量化处理,得到多种特征信息对应的第一编码集合,包括:对于多种特征信息中的数字型字符特征信息,去除数字型字符特征信息中的符号;对去除符号后的剩余部分按照最长位数编码,得到数字型字符特征信息的第一编码;对于多种特征信息中的中文字符特征信息,采用独热编码方式对中文字符特征信息进行编码,得到中文字符特征信息的第一编码;对于多种特征信息中的重复性特征信息,确定属于指定告警类型的重复性特征信息在统计周期内出现的次数,在所有重复性特征信息的出现次数中所占的比例;对比例进行编码,得到重复性特征信息的第一编码;对于多种特征信息中的指标数值信息,对指标数值信息进行最大最小值归一化处理,得到指标数值信息对应的第一编码。
8、在本技术的一些实施例中,得到设备告警信息的告警类型之后,方法还包括:获取与告警类型对应的告警处理策略,其中,在告警类型为误告警的情况下,告警处理策略包括以下至少之一:生成告警日志、修正触发误告警的特征信息对应的状态指标值、若在预设统计时长内发生相同的误告警,通知维护人员与所述误告警对应的告警内容,其中,修正后的状态指标值小于用于触发告警的告警阈值。
9、根据本技术实施例的另一方面,还提供了信息分类模型的训练方法,包括:获取设备历史告警信息,其中,设备历史告警信息包括多种特征信息;对设备历史告警信息中的多种特征信息进行向量化处理,得到多种特征信息对应的第一编码集合;对多种特征信息对应的第一编码集合中多种特征信息分别对应的第一编码进行标准化处理,得到多种特征信息分别对应的第二编码集合;将多种特征信息分别对应的第二编码进行组合,得到设备历史告警信息的特征向量集合;采用初始信息分类模型的双向神经网络对设备历史告警信息的特征向量集合中的特征向量进行第一预测,得到第一预测向量,其中,第一预测为双向神经网络中输入层到输出层的前向传播过程;根据第一预测向量更新信息分类模型的模型参数;采用信息分类模型的双向神经网络对第一预测向量进行第二预测,得到第二预测向量,其中,第二预测为双向神经网络中输出层到输入层的反向传播过程;根据第二预测向量更新信息分类模型的模型参数。
10、在本技术的一些实施例中,根据第一预测向量更新信息分类模型的模型参数,包括:获取信息分类模型在当前迭代轮次的第一网络权重参数以及当前迭代轮次的第一偏置参数,其中,第一网络权重参数为双向神经网络的输入层神经元到输出层神经元的连接权重,第一偏置参数为双向神经网络的输出层的偏置;根据第一预测向量以及当前迭代轮次的第一网络权重参数更新信息分类模型的第一网络权重参数;根据当前迭代轮次的第一偏置参数、当前迭代轮次的第一网络权重参数以及更新后的第一网络权重参数更新信息分类模型的第一偏置参数。
11、在本技术的一些实施例中,根据第一预测向量以及当前迭代轮次的第一网络权重参数更新信息分类模型的第一网络权重参数,包括:通过以下公式更新信息分类模型的第一网络权重参数:w(i+1)=xt·p(x)i-w(i)其中,xt为特征向量x的转置,p(x)i为第i次训练时的第一预测向量,w(i)为第i次训练时的第一网络权重参数,w(i+1)为更新后的第一网络权重参数;或者,根据当前迭代轮次的第一偏置参数、当前迭代轮次的第一网络权重参数以及更新后的第一网络权重参数更新信息分类模型的第一偏置参数,包括:通过以下公式更新信息分类模型的第一偏置参数:b(i+1)=b(i)+λ·[x·w(i+1)-x·w(i)]其中,b(i)为第i次训练时的第一偏置参数,λ为前向传播的学习率,x为当前迭代轮次的特征向量,w(i+1)为更新后的第一网络权重参数,w(i)为第i次训练时的第一网络权重参数,b(i+1)为更新后的第一偏置参数。
12、在本技术的一些实施例中,根据第二预测向量更新信息分类模型的模型参数,包括:获取信息分类模型在当前迭代轮次的第二网络权重参数以及当前迭代轮次的第二偏置参数,其中,第二网络权重参数为双向神经网络的输出层神经元到输入层神经元的连接权重,第二偏置参数为双向神经网络的输入层的偏置;根据第二预测向量以及当前迭代轮次的第二网络权重参数更新信息分类模型的第二网络权重参数;根据当前迭代轮次的第二偏置参数以及、当前迭代轮次的第二网络权重参数以及更新后的第二网络权重参数更新信息分类模型的第二偏置参数。
13、在本技术的一些实施例中,根据第二预测向量以及当前迭代轮次的第二网络权重参数更新信息分类模型的第二网络权重参数,包括:通过以下公式更新信息分类模型的第二网络权重参数:v(i+1)=p(x)it·p(y)i-v(i)其中,p(x)it为特征向量p(y)i的转置,p(y)i为第i次训练时的第二预测向量,v(i)为第i次训练时的第二网络权重参数,v(i+1)为更新后的第二网络权重参数;或者,根据当前迭代轮次的第二偏置参数、当前迭代轮次的第二网络权重参数以及更新后的第二网络权重参数更新信息分类模型的第二偏置参数,包括:通过以下公式更新信息分类模型的第二偏置参数:a(i+1)=a(i)+β·[p(x)·v(i+1)-p(x)·v(i)]其中,a(i)为第i次训练时的第二偏置参数,β为反向传播的学习率,p(x)为当前迭代轮次的特征向量,v(i+1)为更新后的第二网络权重参数,v(i)为第i次训练时的第二网络权重参数,a(i+1)为更新后的第二偏置参数。
14、在本技术的一些实施例中,方法还包括:按照预设比例将设备历史告警信息的特征向量集合分为训练集和测试集,其中,测试集中的特征向量对应的设备历史告警信息包括设备历史告警信息对应的真实告警类型;对真实告警类型进行向量化处理,得到真实告警类型的第一编码集合;对真实告警类型的第一编码进行标准化处理,得到真实告警类型的第二编码集合;根据真实告警类型的第二编码集合得到设备历史告警信息的真实标签集合;采用通过训练集训练得到的信息分类模型对测试集中的特征向量进行第一预测,得到第三预测向量;采用信息分类模型对第三预测向量进行第二预测,得到第四预测向量;采用信息分类模型对第四预测向量进行第一预测,得到第五预测向量;根据第五预测向量,确定特征向量对应的样本信息对应的告警类型预测标签;在预测标签与特征向量对应的真实标签一致的情况下,根据第五预测向量更新信息分类模型的模型参数;采用信息分类模型的第五预测向量进行第二预测,得到第六预测向量;根据第六预测向量更新信息分类模型的模型参数。
15、根据本技术实施例的又一方面,还提供了一种告警信息分类的装置,包括:第一获取模块,用于获取待分类的设备告警信息,其中,所述设备告警信息包括多种特征信息;第一编码模块,用于对所述设备告警信息中的多种特征信息进行向量化处理,得到所述多种特征信息对应的第一编码集合;第二编码模块,用于对所述第一编码集合中所述多种特征信息分别对应的第一编码进行标准化处理,得到所述多种特征信息对应的第二编码集合;第一处理模块,用于采用信息分类模型对所述第二编码集合中的特征向量进行分类,得到所述设备告警信息的告警类型。
16、根据本技术实施例的再一方面,还提供了信息分类模型的训练装置,包括:第二获取模块,用于获取设备历史告警信息,其中,所述设备历史告警信息包括多种特征信息;第三编码模块,用于对所述设备历史告警信息中的多种特征信息进行向量化处理,得到所述多种特征信息对应的第一编码集合;第四编码模块,用于对所述多种特征信息对应的第一编码集合中所述多种特征信息分别对应的第一编码进行标准化处理,得到所述多种特征信息分别对应的第二编码集合;第二处理模块,用于将所述多种特征信息分别对应的第二编码进行组合,得到所述设备历史告警信息的特征向量集合;第一预测模块,用于采用初始信息分类模型的双向神经网络对所述设备历史告警信息的特征向量集合中的特征向量进行第一预测,得到第一预测向量,其中,所述第一预测为双向神经网络中输入层到输出层的前向传播过程;第一更新模块,用于根据所述第一预测向量更新所述信息分类模型的模型参数;第二预测模块,用于采用所述信息分类模型的双向神经网络对所述第一预测向量进行第二预测,得到第二预测向量,其中,所述第二预测为双向神经网络中输出层到输入层的反向传播过程;第二更新模块,用于根据所述第二预测向量更新所述信息分类模型的模型参数。
17、根据本技术实施例的再一方面,还提供了一种电子设备,包括:存储器和处理器,存储器用于存储程序指令;处理器与存储器连接,用于执行实现上述告警信息分类的方法以及信息分类模型的训练方法。
18、根据本技术实施例的再一方面,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的计算机程序,其中,该非易失性存储介质所在设备通过运行计算机程序执行上述告警信息分类的方法以及信息分类模型的训练方法。
19、根据本技术实施例的再一方面,还提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现上述告警信息分类的方法以及信息分类模型的训练方法。
20、在本技术实施例中,由于对设备告警信息中的关键性信息采用多维编码的方式获得特征向量,并利用信息分类模型对该特征向量进行分析预测,因此,可以对设备告警信息进行准确分类,确定其对应的具体告警类型,达到了降低误告警信息的下发量的目的,从而实现了提升告警信息的准确性和运维人员人工处理告警信息的效率,进而保障系统的稳定运行的技术效果,进而解决了相关技术无法对不同类型的告警信息进行准确区分的技术问题。
本文地址:https://www.jishuxx.com/zhuanli/20241106/324892.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。