一种日志管理系统和日志数据查询方法与流程

本发明实施例涉及日志管理，尤其涉及一种日志管理系统和日志数据查询方法。

背景技术：

1、在现代的数字环境中，不同的应用系统之间的交易合作是通过交换报文来完成的，这些报文携带了交易所需的所有关键信息，确保了交易可以在不同的系统间顺畅地进行。报文结构是这些系统间交换信息的标准化规则，它保证了信息的正确解读。同时，为了监控和故障排除，应用系统会生成详尽的日志，记录下业务流程的每一步以及参数的传递过程。系统管理者或者系统用户往往具有查看系统日志的需求，通过查看系统日志能随时掌握系统健康状况，并依照本身需求创造系统日志记录环境。通过灵活运用系统日志，能提供更稳定的计算机使用环境。

2、目前，根据用户需求查询日志通常存在两种主流的解决方法：第一种方法为在日志系统中全文模糊检索。图1是现有技术中在日志系统进行全文模糊检索的流程示意图。如图1所示，以对日志查询敏感信息为例说明，该方法具体利用日志管理系统，进行全文模糊检索的过程简述如下：a、提供敏感信息搜索关键字，用于生成比对的基准；b、从日志存储索引数据库中，搜索出检查范围的日志，例如输出全部“电子银行”的日志；c、用步骤a的特征，去关联匹配步骤b的数据；d、输出步骤c中，匹配成功的内容。例如，需要匹配日志数据中，是否存在手机号信息，则需要在日志管理系统中，在查询指令中输入模糊搜索信息“/1[34578]\d{9}/”。第二种方法为在系统设备(如服务器等)上执行正则表达式遍历搜索。该方法利用python(一种计算机编程语言)或shell(一种计算机编程语言)等专业开发工具，进行正则表达式模糊匹配，输出命中的文件名和日志内容行。

3、发明人在实现本发明的过程中，发现现有技术存在如下缺陷：在日志系统中全文模糊检索的方式需要查询出所有日志数据，并与用户的日志查询规则列表一一比对，计算量非常大，整个实现过程，存在全文检索以及左连接关联两个高耗时步骤，对日志服务器端的资源消耗非常高。实际进行日志查询的过程中，经常发生集群计算资源过高导致其他日志源处理不稳定情况。通过执行正则表达式遍历搜索的方法可维护性差。在每个系统设备上面需要单独执行python或shell类日志信息检查程序，从全局看，无法提供集中管理页面，不能第一时候掌握哪些系统设备部署了日志信息检查程序。同时，因为与日志管理系统脱节，导致单独部署的日志信息检查程序无法复用日志管理系统已经在运行的日志采集策略，无法复用需要检查的日志文件清单。其次，通过执行正则表达式遍历搜索的方法获取的日志搜索结果存储在各个系统设备上面，无法输出全局报表。

技术实现思路

1、本发明实施例提供一种日志管理系统和日志数据查询方法，能够实现按需查询日志，提高日志查询检索的效率、便捷性、可维护性和灵活性。

2、根据本发明的一方面，提供了一种日志管理系统，包括日志管理平台、数据交互接口和日志采集中间代理；所述日志管理平台与所述数据交互接口通信连接，所述数据交互接口与所述日志采集中间代理通信连接；其中：

3、所述日志管理平台用于获取日志查询用户输入的日志查询指令；其中，所述日志查询指令根据自定义日志信息检索函数生成；

4、所述数据交互接口用于对所述日志查询指令进行解析，获取日志检索关联参数信息，根据所述日志检索关联参数信息生成自定义日志信息检索程序，并将所述自定义日志信息检索程序下发至目标日志采集中间代理；

5、所述目标日志采集中间代理用于根据所述自定义日志信息检索程序查询所述日志查询指令匹配的目标查询日志。

6、根据本发明的另一方面，提供了一种日志数据查询方法，所述方法应用于日志管理系统，所述日志管理系统包括日志管理平台、数据交互接口和日志采集中间代理；所述日志管理平台与所述数据交互接口通信连接，所述数据交互接口与所述日志采集中间代理通信连接，所述方法包括：

7、通过所述日志管理平台获取日志查询用户输入的日志查询指令；其中，所述日志查询指令根据自定义日志信息检索函数生成；

8、通过所述数据交互接口对所述日志查询指令进行解析，获取日志检索关联参数信息，根据所述日志检索关联参数信息生成自定义日志信息检索程序，并将所述自定义日志信息检索程序下发至目标日志采集中间代理；

9、通过所述目标日志采集中间代理根据所述自定义日志信息检索程序查询所述日志查询指令匹配的目标查询日志。

10、本发明实施例通过日志管理平台、数据交互接口和日志采集中间代理构建一种日志管理系统，并通过日志管理平台获取日志查询用户输入的，根据自定义日志信息检索函数生成的日志查询指令，通过数据交互接口对日志查询指令进行解析，获取日志检索关联参数信息，根据日志检索关联参数信息生成自定义日志信息检索程序，并将自定义日志信息检索程序下发至目标日志采集中间代理，进而通过目标日志采集中间代理根据自定义日志信息检索程序查询日志查询指令匹配的目标查询日志，解决现有日志查询管理方法存在的效率低、资源消耗高、可维护性差和灵活性较差等问题，能够实现按需查询日志，提高日志查询检索的效率、便捷性、可维护性和灵活性。

11、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种日志管理系统，其特征在于，包括日志管理平台、数据交互接口和日志采集中间代理；所述日志管理平台与所述数据交互接口通信连接，所述数据交互接口与所述日志采集中间代理通信连接；其中：

2.根据权利要求1所述的系统，其特征在于，所述数据交互接口还用于：

3.根据权利要求1所述的系统，其特征在于，所述数据交互接口还用于：

4.根据权利要求1所述的系统，其特征在于，所述日志管理平台还用于：

5.根据权利要求4所述的系统，其特征在于，所述日志管理平台还用于：

6.根据权利要求4所述的系统，其特征在于，所述自定义日志信息检索脚本包括输入参数、脚本正文和输出结果；所述输入参数根据所述自定义日志信息检索函数的全局变量确定；

7.根据权利要求4所述的系统，其特征在于，所述日志管理平台还用于：

8.根据权利要求1所述的系统，其特征在于，所述目标日志采集中间代理还用于：

9.根据权利要求7所述的系统，其特征在于，所述日志管理平台还用于：

10.一种日志数据查询方法，其特征在于，所述方法应用于日志管理系统，所述日志管理系统包括日志管理平台、数据交互接口和日志采集中间代理；所述日志管理平台与所述数据交互接口通信连接，所述数据交互接口与所述日志采集中间代理通信连接，所述方法包括：

技术总结本发明实施例公开了一种日志管理系统和日志数据查询方法，系统包括日志管理平台、数据交互接口和日志采集中间代理；日志管理平台用于获取日志查询用户输入的日志查询指令；其中，日志查询指令根据自定义日志信息检索函数生成；数据交互接口用于对日志查询指令进行解析，获取日志检索关联参数信息，根据日志检索关联参数信息生成自定义日志信息检索程序，并将自定义日志信息检索程序下发至目标日志采集中间代理；目标日志采集中间代理用于根据自定义日志信息检索程序查询日志查询指令匹配的目标查询日志。本发明实施例的技术方案能够实现按需查询日志，提高日志查询检索的效率、便捷性、可维护性和灵活性。技术研发人员：陈秋华受保护的技术使用者：北京优特捷信息技术有限公司技术研发日：技术公布日：2024/8/1