一种日志文件管理方法、装置及相关设备与流程

本申请涉及数据处理，特别涉及一种日志文件管理方法、装置及相关设备。

背景技术：

1、在云计算大数据等技术普及的时代背景下，信息化水平不断提高，微服务模式大行其道，业务也从单点单机部署变成了集群分布式部署，更多的服务和业务单元意味着日志的数量更多，存储位置更分散。当系统出现故障需要日志文件定位是，运维人员经常需要登录多个节点，进入多个服务获取日志文件。对运维工作造成了不小阻碍。

技术实现思路

1、本申请提供了一种日志文件管理方法、装置及相关设备。

2、第一方面，本申请提供了一种日志文件管理方法，应用于分布式集群，所述分布式集群包括若干节点，各节点可部署日志管理组件和若干业务组件，各节点还包括第一日志目录；所述方法包括：

3、在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录；

4、将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件；

5、将各节点的日志管理组件维护至预设数据库中，以使得用户基于所述数据库查询各节点的各业务组件的日志数据。

6、可选地，业务组件为业务容器；在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录的步骤包括：

7、基于目标业务容器的yaml文件在所述目标节点上部署目标业务容器时，基于所述yaml文件配置，将目标业务容器包括的第二日志目录挂载至所述目标节点的第一日志目录。

8、可选地，日志管理组件为日志管理容器，日志管理容器包括第三日志目录；将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件的步骤包括：

9、在所述目标节点的日志管理容器启动时，将所述目标节点的第一日志目录挂载至所述目标节点的日志管理容器的第三日志目录。

10、可选地，日志管理组件包括日志组件；将各节点的日志管理组件维护至预设数据库中的步骤包括：

11、采用各节点的日志组件，基于预设周期将各节点的第一日志目录中的日志文件进行同步处理，并将同步后的日志文件维护至预设数据库中。

12、可选地，所述方法还包括：

13、在确定对所述预设数据库中的历史日志文件进行归档时，将所述历史日志文件的格式由第一格式转换为第二格式；

14、当所述预设数据库的数据存储量达到配置的阈值时，基于各日志文件的数据格式的优先级进行日志文件清理，其中，第二格式的优先级高于第一格式。

15、第二方面，本申请提供了一种日志文件管理装置，应用于分布式集群，所述分布式集群包括若干节点，各节点可部署日志管理组件和若干业务组件，各节点还包括第一日志目录；所述装置包括：

16、映射单元，用于在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录；

17、挂载单元，用于将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件；

18、维护单元，用于将各节点的日志管理组件维护至预设数据库中，以使得用户基于所述数据库查询各节点的各业务组件的日志数据。

19、可选地，业务组件为业务容器；在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录时，所述映射单元具体用于：

20、基于目标业务容器的yaml文件在所述目标节点上部署目标业务容器时，基于所述yaml文件配置，将目标业务容器包括的第二日志目录挂载至所述目标节点的第一日志目录。

21、可选地，日志管理组件为日志管理容器，日志管理容器包括第三日志目录；将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件时，所述挂载单元具体用于：

22、在所述目标节点的日志管理容器启动时，将所述目标节点的第一日志目录挂载至所述目标节点的日志管理容器的第三日志目录。

23、可选地，日志管理组件包括日志组件；将各节点的日志管理组件维护至预设数据库中时，所述维护单元具体用于：

24、采用各节点的日志组件，基于预设周期将各节点的第一日志目录中的日志文件进行同步处理，并将同步后的日志文件维护至预设数据库中。

25、可选地，所述装置还包括：

26、转换单元，在对所述预设数据库中的历史日志文件进行归档时，所述转换单元用于，将所述历史日志文件的格式由第一格式转换为第二格式；

27、清理单元，当所述预设数据库的数据存储量达到配置的阈值时，所述清理单元用于，基于各日志文件的数据格式的优先级进行日志文件清理，其中，第二格式的优先级高于第一格式。

28、第三方面，本申请实施例提供一种日志文件管理装置，该日志文件管理装置包括：

29、存储器，用于存储程序指令；

30、处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如上述第一方面中任一项所述的方法的步骤。

31、第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如上述第一方面中任一项所述方法的步骤。

32、综上可知，本申请实施例提供的日志文件管理方法，应用于分布式集群，所述分布式集群包括若干节点，各节点可部署日志管理组件和若干业务组件，各节点还包括第一日志目录；所述方法包括：在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录；将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件；将各节点的日志管理组件维护至预设数据库中，以使得用户基于所述数据库查询各节点的各业务组件的日志数据。

33、采用本申请实施例提供的日志文件管理方法，将各节点上各容器的日志文件统一映射至节点的文件目录上，并通过日志管理容器对节点的文件目录进行管理，这样可以通过前端直接下载分布在不同节点不同容器(服务)的日志文件，减少运维人员的重复操作。简化日志文件管理流程，只需占用少量资源，提升日志文件管理效率。

技术特征：

1.一种日志文件管理方法，其特征在于，应用于分布式集群，所述分布式集群包括若干节点，各节点可部署日志管理组件和若干业务组件，各节点还包括第一日志目录；所述方法包括：

2.如权利要求1所述的方法，其特征在于，业务组件为业务容器；在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录的步骤包括：

3.如权利要求2所述的方法，其特征在于，日志管理组件为日志管理容器，日志管理容器包括第三日志目录；将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件的步骤包括：

4.如权利要求1-3任一项所述的方法，其特征在于，日志管理组件包括日志组件；将各节点的日志管理组件维护至预设数据库中的步骤包括：

5.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

6.一种日志文件管理装置，其特征在于，应用于分布式集群，所述分布式集群包括若干节点，各节点可部署日志管理组件和若干业务组件，各节点还包括第一日志目录；所述装置包括：

7.如权利要求6所述的装置，其特征在于，业务组件为业务容器；在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录时，所述映射单元具体用于：

8.如权利要求7所述的装置，其特征在于，日志管理组件为日志管理容器，日志管理容器包括第三日志目录；将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件时，所述挂载单元具体用于：

9.如权利要求6-8任一项所述的装置，其特征在于，日志管理组件包括日志组件；将各节点的日志管理组件维护至预设数据库中时，所述维护单元具体用于：

10.如权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：

11.一种日志文件管理装置，其特征在于，所述日志文件管理装置包括：

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如权利要求1-5中任一项所述方法的步骤。

技术总结本申请涉及数据处理技术领域，特别涉及一种日志文件管理方法、装置及相关设备。该方法应用于分布式集群，所述分布式集群包括若干节点，各节点可部署日志管理组件和若干业务组件，各节点还包括第一日志目录；所述方法包括：在目标节点上部署目标业务组件时，将所述目标业务组件的第二日志目录映射至所述目标节点的第一日志目录；将所述目标节点的第一日志目录挂载至所述目标节点的日志管理组件；将各节点的日志管理组件维护至预设数据库中，以使得用户基于所述数据库查询各节点的各业务组件的日志数据。技术研发人员：周超鹏,余小庆,江悦受保护的技术使用者：新华三技术有限公司技术研发日：技术公布日：2024/7/29