系统异常监控方法、装置、存储介质及电子设备与流程
- 国知局
- 2024-10-21 14:21:10
本公开涉及计算机,尤其涉及一种系统异常监控方法、装置、存储介质及电子设备。
背景技术:
1、为了更好的管理业务系统,需要监控业务系统的运行情况,及时发现系统的异常情况。在系统业务上线时可以人工配置监控,这样运行时发现线上异常,则采取人工应急措施。对于系统中新上线的功能、业务或者应用,经常会出现漏配置某些监控,导致线上出现故障初期无法及时发现。因此,如何在出现线上故障之前尽早发现人工配置的监控中的问题,就成为本领域急需解决的问题。
2、相关技术中,可以采用以下方法实现系统的异常监控:一、通过代理埋点程序包进行系统的异常监控;二、通过分析日志进行异常的异常监控。对于代理埋点程序包的方法,需要将监控代码冗余在业务代码中,准确率低,还会减少代码健硕性,并且在定位功能点问题时,需要反复查询代码,排查效率较低。对于分析日志的方法,周期扫描日志时效性低,不能及时发现异常问题,排查效率低。
3、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的目的在于提供一种系统异常监控方法、装置、存储介质及电子设备,以至少解决通过代理埋点程序包以及分析日志等方法实现系统的异常监控存在的排查效率低及准确率低的问题。
2、本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
3、根据本公开的一个方面,提供一种系统异常监控方法,包括:获取用户行为数据,对所述用户行为数据进行预处理,获得目标数据,所述用户行为数据为客户端用户使用系统时生成的具有客户端用户意图的数据;基于预先训练的异常分类模型,对所述目标数据进行分类处理,获得所述目标数据对应的目标异常类型;若所述目标异常类型满足预设的预警条件,对所述目标异常类型对应的系统异常功能点进行预警。
4、在本公开可选实施例中,所述对所述用户行为数据进行预处理,获得目标数据,包括:对所述用户行为数据进行清洗过滤,获得清洗过滤后的用户行为数据;通过正则表达式,对所述清洗过滤后的用户行为数据进行匹配,筛选出与系统异常相关的数据;将筛选出的数据与第一用户维度数据进行关联,获得目标数据,所述第一用户维度数据用于判断所述筛选出的数据对应的用户是否有异常行为。
5、在本公开可选实施例中,所述基于预先训练的异常分类模型,对所述目标数据进行分类处理,获得所述目标数据对应的目标异常类型,包括:对所述目标数据进行分词处理,获得所述目标数据的目标词组;将所述目标词组输入所述异常分类模型,获得所述异常分类模型输出的所述目标异常类型。
6、在本公开可选实施例中,所述将所述目标词组输入所述异常分类模型,获得所述异常分类模型输出的所述目标异常类型,包括:将所述目标词组输入到所述异常分类模型的词嵌入层进行向量化处理,获得所述目标词组对应的词向量矩阵;将所述目标词组对应的词向量矩阵输入到所述异常分类模型的卷积层进行卷积处理,获得所述目标词组对应的卷积特征;将所述目标词组对应卷积特征输入到所述异常分类模型的池化层进行池化计算,获得所述目标词组对应的池化特征;将所述目标词组对应的池化特征输入到所述异常分类模型的全连接层,输出所述目标异常类型。
7、在本公开可选实施例中,所述方法还包括按照如下方法训练所述异常分类模型:获取样本数据,所述样本数据包括正样本数据和负样本数据,所述正样本数据中包含与系统异常相关的关键词,所述负样本数据中不包含所述与系统异常相关的关键词;将所述样本数据与第二用户维度数据进行关联,获得新的样本数据,所述第二用户维度数据用于判断所述样本数据对应的用户是否有异常行为;对所述新的样本数据进行分词处理,获得样本词组;根据所述样本词组训练所述异常分类模型,所述异常分类模型包括textcnn模型。
8、在本公开可选实施例中,所述方法还包括:若训练得到的所述异常分类模型的预测准确率低于准确率阈值,则基于预设的文本长度阈值,调整所述样本数据中的正样本数据和负样本数据。
9、在本公开可选实施例中,所述基于预设的文本长度阈值,调整所述样本数据中的正样本数据和负样本数据,包括:对于所述样本数据中的各个数据,按照如下方法确定所述数据为正样本数据或负样本数据:若所述数据的文本长度小于所述文本长度阈值、且所述数据中包含所述与系统异常相关的关键词,则确定所述数据为正样本数据;若所述数据的文本长度不小于所述文本长度阈值、或所述数据中不包含所述与系统异常相关的关键词,则确定所述数据为负样本数据。
10、根据本公开的又一个方面,提供一种系统异常监控装置,包括:数据预处理模块,用于获取用户行为数据,对所述用户行为数据进行预处理,获得目标数据,所述用户行为数据为客户端用户使用系统时生成的具有客户端用户意图的数据;数据分类模块,用于基于预先训练的异常分类模型,对所述目标数据进行分类处理,获得所述目标数据对应的目标异常类型;预警模块,用于若所述目标异常类型满足预设的预警条件,对所述目标异常类型对应的系统异常功能点进行预警。
11、在本公开可选实施例中,所述数据预处理模块还用于:对所述用户行为数据进行清洗过滤,获得清洗过滤后的用户行为数据;通过正则表达式,对所述清洗过滤后的用户行为数据进行匹配,筛选出与系统异常相关的数据;将筛选出的数据与第一用户维度数据进行关联,获得目标数据,所述第一用户维度数据用于判断所述筛选出的数据对应的用户是否有异常行为。
12、在本公开可选实施例中,所述数据分类模块还用于:对所述目标数据进行分词处理,获得所述目标数据的目标词组;将所述目标词组输入所述异常分类模型,获得所述异常分类模型输出的所述目标异常类型。
13、在本公开可选实施例中,所述数据分类模块还用于:将所述目标词组输入到所述异常分类模型的词嵌入层进行向量化处理,获得所述目标词组对应的词向量矩阵;将所述目标词组对应的词向量矩阵输入到所述异常分类模型的卷积层进行卷积处理,获得所述目标词组对应的卷积特征;将所述目标词组对应卷积特征输入到所述异常分类模型的池化层进行池化计算,获得所述目标词组对应的池化特征;将所述目标词组对应的池化特征输入到所述异常分类模型的全连接层,输出所述目标异常类型。
14、在本公开可选实施例中,所述装置还包括模型训练模块,用于:获取样本数据,所述样本数据包括正样本数据和负样本数据,所述正样本数据中包含与系统异常相关的关键词,所述负样本数据中不包含所述与系统异常相关的关键词;将所述样本数据与第二用户维度数据进行关联,获得新的样本数据,所述第二用户维度数据用于判断所述样本数据对应的用户是否有异常行为;对所述新的样本数据进行分词处理,获得样本词组;根据所述样本词组训练所述异常分类模型,所述异常分类模型包括textcnn模型。
15、在本公开可选实施例中,所述模型训练模块还用于:若训练得到的所述异常分类模型的预测准确率低于准确率阈值,则基于预设的文本长度阈值,调整所述样本数据中的正样本数据和负样本数据。
16、在本公开可选实施例中,所述模型训练模块还用于:对于所述样本数据中的各个数据,按照如下方法确定所述数据为正样本数据或负样本数据:若所述数据的文本长度小于所述文本长度阈值、且所述数据中包含所述与系统异常相关的关键词,则确定所述数据为正样本数据;若所述数据的文本长度不小于所述文本长度阈值、或所述数据中不包含所述与系统异常相关的关键词,则确定所述数据为负样本数据。
17、根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的系统异常监控方法。
18、根据本公开的又一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述的系统异常监控方法。
19、本公开的实施例所提供的系统异常监控方法,获取客户端用户使用系统时生成的能够反映客户端用户意图的行为数据,对获取的行为数据进行预处理以得到目标数据,然后通过异常分类模型分析目标数据,获得目标异常类型,进而在判断目标异常类型满足预警条件时,对目标异常类型对应的功能点进行预警。一方面,通过分析客户端用户使用系统时生成的能够反映客户端用户意图的行为数据来判断系统异常功能点,能够在系统上线初期、以及系统上线新功能、业务或者应用的初期,通过分析客户端用户意图及时发现系统故障,定位到出现系统故障的系统异常功能点,避免出现客户端用户严重投诉的问题,提升了预警准确率以及问题排查的效率;另一方面,实现了将系统监控逻辑从系统内迁移到系统外,降低了代码的耦合度,提升了系统的维护性。
20、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
本文地址:https://www.jishuxx.com/zhuanli/20241021/317829.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。