日志的采集方法及装置、电子设备和存储介质与流程

本公开涉及数据处理，尤其涉及一种日志的采集方法及装置、电子设备和存储介质。

背景技术：

1、日志采集是日志管理系统中重要的一部分，目前，在日志处理流程上都是串行处理，从而影响了采集速率存在采集瓶颈，且在日志输出端输出某一部分日志时出现故障问题时,会导致整个管道阻塞,进而阻塞整体日志的采集、上传。

技术实现思路

1、本公开提供了一种日志的采集方法、装置、电子设备和存储介质。其主要目的在于解决日志输出端出现故障问题时，或阻塞整体日志的采集、上传的问题。

2、根据本公开的第一方面，提供了一种日志的采集方法，其中，包括：

3、生成与目标服务实例对应的日志采集线程；

4、根据所述日志采集线程，对所述目标服务实例的日志数据进行采集；

5、根据预设规则确定目标上传管道，并基于所述目标上传管道将采集到的日志数据上传至数据库。

6、可选的，在生成与目标服务实例对应的日志采集线程之前，所述方法还包括：

7、确定需采集日志数据的目标服务实例与所述目标服务实例的日志路径。

8、可选的，所述日志采集线程包括输入协程、处理协程、输出协程；所述根据所述日志采集线程，对所述目标服务实例的日志数据进行采集包括：

9、基于所述输入协程，按所述日志路径采集日志数据，得到目标日志数据；

10、基于所述处理协程，对所述目标日志数据与所述目标服务实例的参数信息封装成目标日志格式。

11、可选的，所述根据预设规则确定目标上传管道包括：

12、获取各上传管道内的管道压力；

13、确定管道压力最低的上传管道为目标上传管道。

14、可选的，所述基于所述目标上传管道将采集到的日志数据上传目标数据库中包括：

15、基于所述输出协程，将所述封装后的目标日志数据与所述目标服务实例的参数信息通过所述目标上传管道，上传至所述数据库中。

16、根据本公开的第二方面，提供了一种日志的采集装置，包括：

17、生成单元，用于生成与目标服务实例对应的日志采集线程；

18、采集单元，用于根据所述日志采集线程，对所述目标服务实例的日志数据进行采集；

19、第一确定单元，用于根据预设规则确定目标上传管道；

20、上传单元，用于基于所述目标上传管道将采集到的日志数据上传至数据库。

21、可选的，所述装置还包括：

22、第二确定单元，用于在生成单元生成与目标服务实例对应的日志采集线程之前，确定需采集日志数据的目标服务实例与所述目标服务实例的日志路径。

23、可选的，所述日志采集线程包括输入协程、处理协程、输出协程；所述采集单元包括：

24、采集模块，用于基于所述输入协程，按所述日志路径采集日志数据，得到目标日志数据；

25、封装模块，用于基于所述处理协程，对所述目标日志数据与所述目标服务实例的参数信息封装成目标日志格式。

26、可选的，所述第一确定单元包括：

27、获取模块，用于获取各上传管道内的管道压力；

28、确定模块，用于确定管道压力最低的上传管道为目标上传管道。

29、可选的，所述上传单元还用于

30、基于所述输出协程，将所述封装后的目标日志数据与所述目标服务实例的参数信息通过所述目标上传管道，上传至所述数据库中。

31、根据本公开的第三方面，提供了一种电子设备，包括：

32、至少一个处理器；以及

33、与所述至少一个处理器通信连接的存储器；其中，

34、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的方法。

35、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的方法。

36、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。

37、本公开提供的日志的采集方法、装置、电子设备和存储介质，主要技术方案包括：首先，生成与目标服务实例对应的日志采集线程；其次，根据所述日志采集线程，对所述目标服务实例的日志数据进行采集；最后，根据预设规则确定目标上传管道，并基于所述目标上传管道将采集到的日志数据上传至数据库。与相关技术相比，本申请实施例通过在确定目标服务实例后，为目标服务实例创建单独的日志采集线程，并根据创建出的日志采集线程采集目标服务实例的日志数据，实现了日志采集的并行化处理，各服务实例的日志采集互不影响，提升了日志采集性能，避免因部分日志出现故障，导致的阻塞整体日志的采集、上传。

38、应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种日志的采集方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在生成与目标服务实例对应的日志采集线程之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述日志采集线程包括输入协程、处理协程、输出协程；所述根据所述日志采集线程，对所述目标服务实例的日志数据进行采集包括：

4.根据权利要求3所述的方法，其特征在于，所述根据预设规则确定目标上传管道包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述目标上传管道将采集到的日志数据上传目标数据库中包括：

6.一种日志的采集装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.一种电子设备，其特征在于，包括：

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

技术总结本公开公开了日志的采集方法及装置、电子设备和存储介质，涉及数据处理技术领域，主要技术方案包括：首先，生成与目标服务实例对应的日志采集线程；其次，根据所述日志采集线程，对所述目标服务实例的日志数据进行采集；最后，根据预设规则确定目标上传管道，并基于所述目标上传管道将采集到的日志数据上传至数据库。通过在确定目标服务实例后，为目标服务实例创建单独的日志采集线程，并根据创建出的日志采集线程采集目标服务实例的日志数据，实现了日志采集的并行化处理，各服务实例的日志采集互不影响，提升了日志采集性能，避免因部分日志出现故障，导致的阻塞整体日志的采集、上传。技术研发人员：莫仁鹏,吕亚霖受保护的技术使用者：北京云思智学科技有限公司技术研发日：技术公布日：2024/8/5