服务器日志的处理方法、装置、计算机设备及存储介质与流程

本发明涉及数据处理，具体涉及一种服务器日志的处理方法、装置、计算机设备及存储介质。

背景技术：

1、随着计算机技术和网络技术的快速发展，游戏技术日趋成熟，在游戏运行过程中，游戏服务器会产生大量的日志数据，用来记录玩家的游戏行为，以供客服查询人员和开发人员进行挖掘分析等。

2、当前游戏服务器端日志收集的场景主要有两个特点：游戏服务器数量多且经常需要弹性伸缩，上报日志量大，同时不同租户游戏上报的数据量和数据查询需要的时间跨度也会不相同。

3、现有处理日志的方式无法辨别收集的日志的有效性以及无法确定日志的存储期限，导致日志处理面临大数据存储和计算的压力，在有限的计算资源下，还可能会导致离线任务不能按时执行，存储资源的占用也会存在额外的浪费。

技术实现思路

1、有鉴于此，本发明提供了一种服务器日志的处理方法、装置、计算机设备及存储介质，以解决现有处理日志的方式无法辨别收集的日志的有效性以及无法确定日志的存储期限，导致日志处理面临大数据存储和计算的压力的问题。

2、第一方面，本发明提供了一种服务器日志的处理方法，所述方法包括：

3、接收服务器的目标日志数据；

4、通过自定义的拦截器对所述目标日志数据进行处理，获得有效的目标日志数据；

5、将所述有效的目标日志数据写入分布式文件系统；

6、获取用户设置的配置信息，所述配置信息包括预定义的目标日志数据的存储介质、保留期限和执行动作信息；

7、基于所述配置信息对分布式文件系统中的有效的目标日志数据进行处理。

8、本实施例通过将有效目标日志数据写入分布式文件系统，基于配置信息对分布式文件系统中的有效的目标日志数据进行处理。减少了日志处理面临大数据存储和计算的压力，减少了离线任务不能按时执行造成的存储资源占用造成的额外浪费。

9、在一种可选的实施方式中，所述接收服务器的目标日志数据，包括：

10、接收flume biz层发送的目标日志数据，其中，所述目标日志数据为所述服务器所在数据中心的flume biz层获取的，经过日志格式拦截器校验过的目标日志数据。

11、本实施例经过日志格式拦截器拦截部分不符合日志格式的目标日志数据，减少了日志处理面临大数据存储和计算的压力。

12、在一种可选的实施方式中，所述通过自定义的拦截器对所述目标日志数据进行处理，获得有效的目标日志数据，包括：

13、通过时间拦截器提取所述目标日志数据中的时间戳，获取带有时间戳的目标日志数据；

14、通过日志事件拦截器对所述带有时间戳的目标日志数据进行过滤，获得有效的目标日志数据，其中，日志事件拦截器基于预设置的不同环境下的有效日志数据名进行设置。

15、本实施例经过自定义的拦截器拦截掉无效的目标日志数据，获取有效的目标日志数据，后续对有效的目标日志数据进行处理，减少了日志处理面临大数据存储和计算的压力。

16、在一种可选的实施方式中，所述通过日志事件拦截器对所述带有时间戳的目标日志数据进行过滤，包括：

17、通过日志事件拦截器对所述带有时间戳的目标日志数据进行自定义正则表达式匹配认证，获取认证通过的目标日志数据；

18、通过日志事件拦截器对所述认证通过的目标日志数据进行过滤，获得有效的目标日志数据。

19、本实施例经过日志事件拦截器拦截掉认证未通过的目标日志数据，获取有效的目标日志数据，后续对有效的目标日志数据进行处理，减少了日志处理面临大数据存储和计算的压力。

20、在一种可选的实施方式中，所述将所述有效的目标日志数据写入分布式文件系统，包括：

21、通过速率拦截器将所述有效的目标日志数据写入分布式文件系统，其中，速率拦截器基于预设的目标日志数据写入规则进行设置。

22、本实施例通过速率拦截器控制有效的目标日志数据的写入速率，后续对分布式文件系统中的有效的目标日志数据进行处理，减少了日志处理面临大数据存储和计算的压力，减少了离线任务不能按时执行造成的存储资源占用造成的额外浪费。

23、在一种可选的实施方式中，所述基于所述配置信息对分布式文件系统中的有效的目标日志数据进行处理，包括：

24、将所述分布式文件系统中的有效的目标日志数据存储至对应的预定义的目标日志数据的存储介质中，其中，所述分布式文件系统中的有效的目标日志数据在所述存储介质中的存储期限由预定义的目标日志数据的保留期限确定；

25、按照预定义的目标日志数据的执行动作信息对存储介质中的有效的目标日志数据执行相应动作。

26、本实施例通过配置信息中的存储介质，保留期限和执行动作信息对有效的目标日志数据进行相应处理，减少了日志处理面临大数据存储和计算的压力，减少了离线任务不能按时执行造成的存储资源占用造成的额外浪费。

27、在一种可选的实施方式中，在所述接收服务器的目标日志数据之前，包括：

28、将日志收集服务注册到zookeeper集群中；

29、确定所述zookeeper集群中活跃的日志收集服务；

30、所述接收服务器的目标日志数据，包括：

31、通过所述活跃的日志收集服务接收所述服务器的目标日志数据。

32、本实施例通过利用活跃的日志收集服务接收目标日志数据，有效的提高了目标日志数据的传输效率。

33、第二方面，本发明提供了一种服务器日志的处理装置，所述装置包括：

34、目标日志数据接收模块，用于接收服务器的目标日志数据；

35、有效目标日志数据获取模块，用于通过自定义的拦截器对所述目标日志数据进行处理，获得有效的目标日志数据；

36、有效目标日志数据写入模块，用于将所述有效的目标日志数据写入分布式文件系统；

37、配置信息获取模块，用于获取用户设置的配置信息，所述配置信息包括预定义的目标日志数据的存储介质、保留期限和执行动作信息；

38、目标日志数据处理模块，用于基于所述配置信息对分布式文件系统中的有效的目标日志数据进行处理。

39、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的服务器日志的处理方法。

40、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的服务器日志的处理方法。

技术特征：

1.一种服务器日志的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述接收服务器的目标日志数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述通过自定义的拦截器对所述目标日志数据进行处理，获得有效的目标日志数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过日志事件拦截器对所述带有时间戳的目标日志数据进行过滤，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述有效的目标日志数据写入分布式文件系统，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述配置信息对分布式文件系统中的有效的目标日志数据进行处理，包括：

7.根据权利要求1所述的方法，其特征在于，在所述接收服务器的目标日志数据之前，包括：

8.一种服务器日志的处理装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的服务器日志的处理方法。

技术总结本发明涉及数据处理技术领域，公开了服务器日志的处理方法、装置、计算机设备及存储介质，所述方法包括：接收服务器的目标日志数据；通过自定义的拦截器对所述目标日志数据进行处理，获得有效的目标日志数据；将所述有效的目标日志数据写入分布式文件系统；获取用户设置的配置信息，所述配置信息包括预定义的目标日志数据的存储介质、保留期限和执行动作信息；基于配置信息对分布式文件系统中的有效的目标日志数据进行处理。本发明能够辨别收集的日志的有效性以及日志的存储期限，减少了大数据日志存储和计算的压力。技术研发人员：李海涛受保护的技术使用者：北京蔚领时代科技有限公司技术研发日：技术公布日：2024/5/8