一种基于MySQL数据库日志挖掘与监测方法、系统与流程

本发明涉及一种基于mysql数据库日志挖掘与监测方法、系统，属于数据库管理领域。

背景技术：

1、数据库都有不同的日志文件，记录着数据库在运行工作时的方方面面，帮助数据库管理员追踪和查看数据库中以前发生过的各种事件。mysql数据库有4种不同的日志，分别是错误日志、慢查询日志、通用查询日志和二进制日志，这些日志文件中记录着mysql数据库在不同方面的记录。错误日志可以帮助用户快速定位数据库系统故障原因；通用查询日志记录数据库发生的任何操作；慢查询日志追踪系统性能问题，也可以找到影响性能的sql语句；二进制日志记录mysql数据库中所有更新数据的sql语句，即记录了数据库中所有数据变更操作。

2、由以上分析可知，数据库运行工作时存在大量数据，这可能导致存储和检索效率下降；大量子系统访问还可能导致查询响应时间延长，满足不了快速的数据分析需求。

技术实现思路

1、为了解决数据库使用过程中大量子系统访问而导致的问题，包括海量数据积累、查询响应时间过长以及困难重重的快速数据分析等，本发明提出一种基于mysql数据库日志挖掘与监测方法，该方法包括以下步骤：

2、(1)从mysql数据库中获取操作日志数据。

3、(2)搭建执行模式知识库。

4、(3)采用聚类方法对执行模式分类。

5、(4)日志权限规则冲突检测：对新的日志权限规则与已知执行模式或日志权限规则进行冲突检测。不发生冲突时，将新识别的执行模式合并入知识库，重新执行步骤(3)，重新执行识别过程，对未识别的执行模式列表中的样本进行处理。发生冲突时，系统执行冲突消解操作，经过消解处理后的新识别执行模式被有序地合并入数据库，并执行步骤(3)。

6、(5)对mysql数据库日志进行分析监测。

7、进一步地，步骤(1)中，mysql数据库的操作日志保存在特定的系统表(例如mysql.general_log或mysql.slow_log)中。查询操作日志时，可以根据需要过滤特定类型的操作，从而获取binlog日志文件(包括执行模式)、日志权限规则集合、属性与类型的映射关系和类型与字段位置的映射关系数据文件。使用触发器实现将日志采集过程设计为实时监测的形式，确保能够捕获数据库中新产生的日志。对获取的日志数据进行解析，将其结构化成可分析的格式。

8、进一步地，步骤(3)中，采用k均值聚类进行分类时，将给定数据集划分成k个簇，并给出每个样本数据对应的中心点具体步骤如下：

9、3.1给定训练样本{x(1),...,x(m)}，每个样本元素均为n维向量；

10、3.2随机选取k个聚类质心点μ1,μ2,...,μk∈rn；

11、3.3计算每个样本i属于的类对于每个类c(i)，重新计算该类的质心其中，c(i)的值为1到k中的一个；c(i)＝j时，μj＝1，否则μj＝0；计算其中wi为样本i的权重，为与样本x(i)关联的质心；当j(c,μ)未达到最小值时，先固定当前的簇分配c(i)，通过计算每个簇的所有数据点更新每个簇的质心μj；然后更新质心，若质心变化，固定质心μj，不断迭代步骤(1)～(2)，当j(c,μ)达到最小值时，μj和c(i)同时收敛。

12、基于上述方法，本发明又提出了一种基于mysql数据库日志挖掘与监测系统，该系统包括日志采集模块、搭建执行模式知识库模块、聚类分析算法识别执行模式、日志权限规则冲突检测模块、数据库日志分析监测模块。

13、(1)操作日志数据获取模块，该模块从mysql数据库中获取操作日志数据。

14、(2)执行模式知识库搭建模块。

15、(3)执行模式分类模块，采用聚类方法进行模式分类。

16、(4)日志权限规则冲突检测模块，该模块对新的日志权限规则与已知执行模式或日志权限规则进行冲突检测。不发生冲突时，将新识别的执行模式合并入知识库，重新执行模式分类，重新执行识别过程，对未识别的执行模式列表中的样本进行处理。发生冲突时，系统执行冲突消解操作，经过消解处理后的新识别执行模式被有序地合并入数据库，并执行模式分类。

17、(5)mysql数据库日志分析监测模块。

18、进一步地，模块(1)中，mysql数据库的操作日志保存在特定的系统表(例如mysql.general_log或mysql.slow_log)中。查询操作日志时，可以根据需要过滤特定类型的操作，从而获取binlog日志文件(包括执行模式)、日志权限规则集合、属性与类型的映射关系和类型与字段位置的映射关系数据文件。使用触发器实现将日志采集过程设计为实时监测的形式，确保能够捕获数据库中新产生的日志。对获取的日志数据进行解析，将其结构化成可分析的格式。

19、进一步地，模块(3)采用k均值聚类进行分类时，将给定数据集划分成k个簇，并给出每个样本数据对应的中心点具体步骤如下：

20、3.1给定训练样本{x(1),...,x(m)}，每个样本元素均为n维向量；

21、3.2随机选取k个聚类质心点μ1,μ2,...,μk∈rn；

22、3.3计算每个样本i属于的类对于每个类c(i)，重新计算该类的质心其中，c(i)的值为1到k中的一个；c(i)＝j时，μj＝1，否则μj＝0；计算其中wi为样本i的权重，为与样本x(i)关联的质心；当j(c,μ)未达到最小值时，先固定当前的簇分配c(i)，通过计算每个簇的所有数据点更新每个簇的质心μj；然后更新质心，若质心变化，固定质心μj，不断迭代步骤(1)～(2)，当j(c,μ)达到最小值时，μj和c(i)同时收敛。

23、本发明通过系统数据库中的日志以及聚类分析算法对数据库实时监测，通过搭建执行模式知识库，并采用聚类方法对执行模式进行分类，系统可以识别出数据库操作的不同行为模式，包括常见的查询、更新、插入等操作，有助于管理员更好地理解数据库的行为特征。通过捕获数据库中新产生的日志、解析和结构化处理，将其转化为可分析的格式，可实现对数据库行为的实时监测和分析。通过对大量mysql数据库日志进行分析监测，系统能够及时发现潜在的安全问题、异常行为或者行为规律，提供及时的预警信息，有助于管理员采取必要的措施保障数据库的安全性和稳定性。

技术特征：

1.一种基于mysql数据库日志挖掘与监测方法，其特征在于：该方法包括以下步骤：

2.如权利要求1所述的一种基于mysql数据库日志挖掘与监测方法，其特征在于：mysql数据库的操作日志保存在特定的系统表中。查询操作日志时，可以根据需要过滤特定类型的操作，从而获取binlog日志文件、日志权限规则集合、属性与类型的映射关系和类型与字段位置的映射关系数据文件。使用触发器实现将日志采集过程设计为实时监测的形式，确保能够捕获数据库中新产生的日志。对获取的日志数据进行解析，将其结构化成可分析的格式。

3.如权利要求1所述的一种基于mysql数据库日志挖掘与监测方法，其特征在于：步骤(3)中，采用k均值聚类进行分类时，将给定数据集划分成k个簇，并给出每个样本数据对应的中心点具体步骤如下：

4.一种基于mysql数据库日志挖掘与监测系统，该系统包括日志采集模块、搭建执行模式知识库模块、聚类分析算法识别执行模式、日志权限规则冲突检测模块、数据库日志分析监测模块，其特征在于：

5.如权利要求1所述的一种基于mysql数据库日志挖掘与监测系统，其特征在于：模块(1)中，mysql数据库的操作日志保存在特定的系统表中。查询操作日志时，可以根据需要过滤特定类型的操作，从而获取binlog日志文件、日志权限规则集合、属性与类型的映射关系和类型与字段位置的映射关系数据文件。使用触发器实现将日志采集过程设计为实时监测的形式，确保能够捕获数据库中新产生的日志。对获取的日志数据进行解析，将其结构化成可分析格式。

6.如权利要求1所述的一种基于mysql数据库日志挖掘与监测系统，其特征在于：模块(3)采用k均值聚类进行分类时，将给定数据集划分成k个簇，并给出每个样本数据对应的中心点具体步骤如下：

技术总结本发明通过系统数据库中的日志以及聚类分析算法对数据库实时监测，同时搭建执行模式知识库，采用聚类方法对执行模式进行分类，系统可以识别出数据库操作的不同行为模式，有助于管理员更好地理解数据库的行为特征。系统能够实时监测MySQL数据库的操作日志，捕获数据库中新产生的日志，并通过解析和结构化处理，将其转化为可分析的格式，从而实现对数据库行为的实时监测和分析。通过对大量MySQL数据库日志进行分析监测，系统能够及时发现潜在的安全问题、异常行为或者行为规律，提供及时的预警信息，有助于管理员采取必要的措施保障数据库的安全性和稳定性。技术研发人员：陈传凯,王伟斌,刘亚受保护的技术使用者：北京新数科技有限公司技术研发日：技术公布日：2024/7/29