日志数据处理方法、装置、计算机设备和存储介质与流程

技术特征：
1.一种日志数据处理方法，所述方法应用于业务系统的客户端，所述方法包括：在监听到业务系统的原始日志发生了数据写入操作时，从所述原始日志中读取多条原始日志数据；分别解析各条所述原始日志数据中所携带的属性信息；以预设的时间周期为最小数据汇聚维度，对所述属性信息相同的所述原始日志数据进行汇聚计算；根据所述汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从所述汇聚日志中获取汇聚日志数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述从所述原始日志中读取多条原始日志数据，包括：以换行符作为分割标识，从所述原始日志中逐行读取数据，将一行数据作为一条所述原始日志数据。3.根据权利要求1所述的方法，其特征在于，所述属性信息包括日志输出时间点或时间段信息、日志前缀信息、接口标识信息、调用情况信息、扩展字段信息之中的至少一个。4.根据权利要求1所述的方法，其特征在于，所述分别解析各条所述原始日志数据中所携带的属性信息，包括：响应于通过所述客户端的显示界面配置的解析规则，根据所述解析规则分别对各所述原始日志数据进行解析以得到各条所述原始日志数据中所携带的属性信息。5.根据权利要求1所述的方法，其特征在于，所述对所述属性信息相同的所述原始日志数据进行汇聚计算，包括：创建用于进行汇聚计算的缓存；在所述缓存中以键值对的形式生成汇聚日志数据；其中，所述键值对的键为所述属性信息，所述键值对的值为属性信息相同的原始日志数据的总条数和接口调用总耗时。6.根据权利要求1至5任一项所述的方法，其特征在于，所述以使得日志系统从所述汇聚日志中获取汇聚日志数据进行处理，包括：通过数据采集系统从所述汇聚日志中采集汇聚日志数据到消息队列，以使得日志系统从所述消息队列中获取汇聚日志数据并进行处理。7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：在所述客户端的显示界面对所述汇聚结果进行展示。8.一种日志数据处理装置，其特征在于，所述装置应用于业务系统的客户端，所述装置包括：原始日志监听模块，在监听到业务系统的原始日志发生了数据写入操作时，从所述原始日志中读取多条原始日志数据；日志数据解析模块，用于分别解析各条所述原始日志数据中所携带的属性信息；日志数据汇聚模块，用于以预设的时间周期为最小数据汇聚维度，对所述属性信息相同的所述原始日志数据进行汇聚计算；汇聚日志生成模块，用于根据所述汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从所述汇聚日志中获取汇聚日志数据进行处理。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计
算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种日志数据处理方法、装置、计算机设备和存储介质。所述方法包括：在监听到业务系统的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据；分别解析各条原始日志数据中所携带的属性信息；以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算；根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。采用本方法能够提高日志数据传输的稳定性和日志数据处理的效率。处理的效率。处理的效率。


技术研发人员：崔洋 肖军 汪伟 耿志亮 顾莉莉
受保护的技术使用者：南京星云数字技术有限公司
技术研发日：2021.11.17
技术公布日：2022/3/15