调用链日志下指标数据异常检测方法、装置、设备及介质与流程

本发明涉及调用链日志分析领域，尤其涉及调用链日志下指标数据异常检测方法、装置、设备及介质。

背景技术：

1、一个完整的业务过程是由一系列的业务功能单元串接而成，每一项业务都由一个小的功能模块逻辑实现，现有技术在进行业务质量监控时往往需要通过查找统一的业务id，进而找到一个业务请求下的所有相关调用记录而形成调用链，实现微服务下个多个功能模块的串联。

2、但随着容器、微服务架构在第三代系统的上线，一次业务办理可能会涉及到多个功能模块，这些功能模块，有可能是由不同的团队开发、可能使用了不同的编程语言实现、可能分布在了多台服务器上甚至横跨多个不同的数据中心。这就导致各功能模块间没有统一的业务id，使得对某一业务的质量监控和异常诊断以及定位变得异常复杂，运维响应时效越来越高。

3、因此，亟需一种对调用链日志下指标数据异常检测的方法，以此建立端到端的业务链路，从而构建出一个微服务架构下的完整业务质量监控过程。

技术实现思路

1、基于此，本发明提供了调用链日志下指标数据异常检测方法、装置、设备及介质，解决业务质量监控过程中由于某些日志缺乏标识性的业务id，使得业务质量监控和异常诊断复杂、运维响应时间长的问题。

2、第一方面，本发明实施例提供了一种调用链日志下指标数据异常检测方法，该方法包括：

3、在检测时间段内，在与目标业务功能对应的各业务功能模块中分别收集业务日志，并将各业务日志聚合为与各调用链分别对应的调用链聚合日志；

4、对各业务链聚合日志分别进行字段值数据处理，得到与各调用链聚合日志对应的多个指标数据，以及与各指标数据分别对应的指标类型；

5、将同一业务链聚合日志中相同指标类型的各指标数据进行聚类处理，得到与每个指标类型分别对应的指标数据集合；

6、将与各业务链聚合日志对应的各指标数据集合输入至预先训练的孤立森林模型中，识别异常指标数据集合，并根据各异常指标数据集合所属的目标指标类型，进行异常告警。

7、第二方面，本发明实施例还提供了一种调用链日志下指标数据异常检测装置，该装置包括：

8、调用链日志聚合模块，用于在检测时间段内，在与目标业务功能对应的各业务功能模块中分别收集的业务日志，并将各业务日志聚合为与各调用链分别对应的调用链聚合日志；

9、字段值数据处理模块，用于对各业务链聚合日志分别进行字段值数据处理，得到与各调用链聚合日志对应的多个指标数据，以及与各指标数据分别对应的指标类型；

10、指标数据聚合模块，用于将同一业务链聚合日志中相同指标类型的各指标数据进行聚类处理，得到与每个指标类型分别对应的指标数据集合；

11、异常告警模块，用于将与各业务链聚合日志对应的各指标数据集合输入至预先训练的孤立森林模型中，识别异常指标数据集合，并根据各异常指标数据集合所属的目标指标类型，进行异常告警。

12、第三方面，本发明实施例还提供了一种设备，所述设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种调用链日志下指标数据异常检测方法。

16、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种调用链日志下指标数据异常检测方法。

17、本发明实施例的技术方案，首先将同一业务链下的多个业务日志聚合，其次对全部业务日志中的字段值进行处理得到若干指标数据，通过计算指标数据的异常得分值来确定存在异常的具体指标数据，从而实现了对全链条异常指标数据的快速定位以及异常诊断，为微服务架构下的业务质量监控提供了高效的解决方案。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种调用链日志下指标数据异常检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，将各业务日志聚合为与各调用链分别对应的调用链聚合日志，包括：

3.根据权利要求2所述的方法，其特征在于，在根据第一模块和第二模块，在预先构建的各相邻业务模块下的字段名映射对集合中，获取目标字段名映射对集合之前，还包括：

4.根据权利要求3所述的方法，其特征在于，对每个模块日志集合中的各模块日志进行字段名分析，确定与每个模块日志集合分别对应的关键字段名集合，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，对各业务链聚合日志分别进行字段值数据处理，得到与各调用链聚合日志分别对应的多个指标数据，以及与各指标数据分别对应的指标类型，包括：

6.根据权利要求1-4任一项所述的方法，其特征在于，将与各业务链聚合日志分别对应的各指标数据集合输入至预先训练的孤立森林模型中，识别异常指标数据集合，包括：

7.根据权利要求1-4任一项所述的方法，其特征在于，根据各异常指标数据集合所属的目标指标类型，进行异常告警，包括：

8.一种调用链日志下指标数据异常检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种调用链日志下指标数据异常检测方法。

技术总结本发明公开了调用链日志下指标数据异常检测方法、装置、设备及介质。该方法包括：收集业务日志，并将各业务日志聚合为与各调用链分别对应的调用链聚合日志；对各业务链聚合日志分别进行字段值数据处理，得到与各调用链聚合日志对应的多个指标数据以及指标类型；将同一业务链聚合日志中相同指标类型的各指标数据进行聚类处理，得到与每个指标类型分别对应的指标数据集合；将各指标数据集合输入至预先训练的孤立森林模型中，识别异常指标数据集合，并根据目标指标类型，进行异常告警。本发明实施例先将调用链日志聚合再对该聚合日志下的指标数据进行异常检测，实现了对全链条异常指标数据的快速定位以及异常诊断，实现高效的业务质量监控。技术研发人员：张大伟受保护的技术使用者：北京优特捷信息技术有限公司技术研发日：技术公布日：2024/7/29