日志处理方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种日志处理方法、装置、电子设备及存储介质。

背景技术：

1、通常，网络设备、操作系统以及服务程序等在运行时都会产生日志，日志中包括操作用户的操作行为、操作时间等信息，开发人员通过分析日志，可以提高网络设备、操作系统以及服务程序等的运行服务质量。

2、目前，常见的日志采集的处理方式例如，采用flink，或者strom，在此基础上进行进行日志数据的流转和格式的压缩之后实时的存入到分布式文件系统(hadoopdistributed file system，hdfs)。由于hdfs需要在通用硬件上运行，相关技术中，要实现提高处理实时采集的日志的速度，需要大量的硬件设备支持，且在处理日志的过程中，需要涉及数据库的不同层级，例如，日志的清洗处理，需要在数据运营(operational datastore，ods)层和数据明细(data warehouse detail，dwd)层处理，因此，整个日志的处理过程需要大量的重复代码，最终导致日志处理过程敏捷性差，不便于实时调整日志的处理策略。基于此，如何进行灵活、高效地采集日志中的有用数据是亟需解决的问题。

技术实现思路

1、有鉴于此，本申请实施例提供一种日志处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够高效、灵活地采集日志中有用的数据。

2、本申请实施例提供一种日志处理方法，包括：

3、获取上游终端生成的第一日志，其中，第一日志包括包括与多个第一预设字段一一对应的字段数据；

4、使用至少一个第一日志过滤器对第一日志进行过滤处理，其中，第一日志过滤器根据第一时间段获取到的上游终端生成的第二日志构建得到，第二日志的获取时间早于第一日志的获取时间，第一日志的获取时间位于第一时间段内；

5、在过滤处理的过滤结果为未被滤除的情况下，根据多个第一预设字段中第一目标字段的字段数据，获取第一目标字段的字段数据对应的过滤规则，其中，过滤规则包括第二预设字段和第二预设字段对应的地址信息；

6、在第一日志中获取第二预设字段对应的字段数据，根据第二预设字段对应的地址信息，发送第二预设字段的字段数据。

7、可选地，根据本申请实施例的方法，第一时间段包括与第一日志过滤器一一对应的子时间段，不同的子时间段之间无时间重合；每个第一日志过滤器基于其对应子时间段内获取的每个第二日志的特征信息生成；

8、使用至少一个第一日志过滤器对第一日志进行过滤处理，包括：

9、获取第一日志的特征信息；

10、根据第一日志过滤器对应的索引计算函数，计算第一日志的特征信息的索引值；

11、根据第一日志过滤器包括的每个第二日志特征信息的索引值和第一日志的特征信息的索引值，确定过滤处理的过滤结果；

12、其中，每个第二日志特征信息与第一日志的特征信息均不一致的情况下，过滤处理的过滤结果为未被滤除。

13、可选地，根据本申请实施例的方法，在得到过滤处理结果之后，方法还包括：

14、在过滤处理的过滤结果为未被滤除的情况下，根据第一日志的特征信息的索引值，更新第一日志过滤器中的目标日志过滤器；

15、其中，第一日志的获取时间位于目标日志过滤器对应的子时间段内。

16、可选地，根据本申请实施例的方法，获取第一日志的特征信息，包括：

17、在多个第一预设字段中获取第三预设字段对应字段数据，得到第一日志的特征信息。

18、可选地，根据本申请实施例的方法，获取第一目标字段的字段数据对应的过滤规则之前，方法还包括：

19、获取规则数据库中新增的过滤规则；

20、将新增的过滤规则存储在预设的数据存储空间中。

21、可选地，根据本申请实施例的方法，获取规则数据库中新增的过滤规则，包括：

22、响应于规则数据库接收规则写入操作并生成新增的过滤规则，基于flink cdc读取规则数据库中新增的过滤规则，得到新增的过滤规则。

23、本申请实施例提供一种日志处理装置，包括：

24、获取模块，用于获取上游终端生成的第一日志，其中，日志包括多个第一预设字段，每个第一预设字段包括字段数据；

25、处理模块，用于使用至少一个第一日志过滤器对第一日志进行过滤处理，其中，第一日志过滤器根据第一时间段获取到的上游终端生成的第二日志构建得到，第二日志的获取时间早于第一日志的获取时间，第一日志的获取时间位于第一时间段内；

26、处理模块，还用于在过滤处理的过滤结果为未被滤除的情况下，根据多个第一预设字段中第一目标字段的字段数据，获取第一目标字段的字段数据对应的过滤规则，其中，过滤规则包括第二预设字段和第二预设字段对应的地址信息；

27、处理模块，还用于在第一日志中获取第二预设字段对应的字段数据，根据第二预设字段对应的地址信息，发送第二预设字段的字段数据。

28、本申请实施例提供一种电子设备，电子设备包括处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如上的方法的步骤。

29、本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如上的方法的步骤。

30、本申请实施例提供一种计算机程序产品，计算机程序产品中包括计算机程序指令，计算机程序指令被处理器执行时实现如上的方法的步骤。

31、采用本申请的实施例，获取到上游终端生成的第一日志，通过使用基于邻近时间段内日志构建的第一日志过滤器，对第一日志进行过滤，可以快速、高效的滤除第一时间段内存在的重复日志。随后，在第一日志未被滤除的情况下，结合第一日志中第一目标字段的字段数据，可以灵活地确定处理第一日志所采用的过滤规则，进而根据第一日志的过滤规则，在第一日志中提取出需要转发第二预设字段的字段数据，并对第二预设字段的字段数据进行转发，不仅能够高效、灵活地采集日志中有用的日志，还实现对第一日志的高效分流。

技术特征：

1.一种日志处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一时间段包括与所述第一日志过滤器一一对应的子时间段，不同的所述子时间段之间无时间重合；每个所述第一日志过滤器基于其对应子时间段内获取的每个所述第二日志的特征信息生成；

3.根据权利要求2所述的方法，其特征在于，在得到所述过滤处理结果之后，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，所述获取所述第一日志的特征信息，包括：

5.根据权利要求1所述的方法，其特征在于，所述获取所述第一目标字段的字段数据对应的过滤规则之前，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述获取规则数据库中新增的过滤规则，包括：

7.一种日志处理装置，其特征在于，包括：

8.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述电子设备执行所述计算机程序指令时实现如权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。

技术总结本申请公开了一种日志处理方法、装置、电子设备及存储介质。该方法包括：获取上游终端生成的第一日志；使用至少一个第一日志过滤器对第一日志进行过滤处理，其中，第一日志过滤器根据第一时间段获取到的上游终端生成的第二日志构建得到；在过滤处理的过滤结果为未被滤除的情况下，根据多个第一预设字段中第一目标字段的字段数据，获取第一目标字段的字段数据对应的过滤规则，其中，过滤规则包括第二预设字段和第二预设字段对应的地址信息；在第一日志中获取第二预设字段对应的字段数据，根据第二预设字段对应的地址信息，发送第二预设字段的字段数据。根据本申请实施例，能够高效、灵活地采集日志中有用的数据。技术研发人员：刘桦楠,蒋乐,邓暘,郑国瑞,罗成受保护的技术使用者：前锦网络信息技术（上海）有限公司技术研发日：技术公布日：2024/10/10