一种数据库组件日志异常确定方法及装置与流程

本发明属于it应用，尤其涉及一种数据库组件日志异常确定方法及装置。

背景技术：

1、人类进入信息时代后，管理和分析数据成为推动社会进步的关键环节。当前，随着数据要素市场化配置上升为国家战略，数据正式成为企业、产业乃至国家的战略性资源。数据库系统作为承载数据存储和计算功能的专用软件，经过半个多世纪的发展演进，已成为最主流的数据处理工具，是各企业数据工作流程的核心。

2、随着数据库系统的发展，数据库管理系统作为能够使用户定义、创建、维护和控制访问数据库的软件系统，其整体架构与技术路线不断深化发展，同时，数据库的分布式高可用架构组件也在不断趋于成熟。数据库系统的高可用则是基于多个组件之间密切有序的协调工作，其中，为了保证组件稳定有效运行、操作流程安全留痕、运维后期快速排障恢复，各个组件的操作审计、异常分析成为分布式系统的必须具备功能，同时，对其操作中的异常链检测和分析也称为必要的模块。

3、目前，有许多实现审计记录的方法来记录组件的工作状态，将涉及的用户业务流程进行日志的记录，但许多方法将此功能硬编码到每个业务流程中，这样不仅会造成开发代码的冗余、结构性差，也会造成业务流程和审计流程的耦合度过高，对业务代码侵入性高，同时对于后期升级、扩展和维护也是一大难题。同时，对采集的审计日志进行拆解分析也主要靠运维人员或一些半自动化脚本，这无疑将提高时间成本和降低人工效率。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种数据库组件日志异常确定方法、装置、电子设备和存储介质，本发明以动态代理的方式来记录数据库组件日志的起始点，限制正常日志序列的上下文编码分布，形成标准化日志模版，通过预先训练的日志分析模型提升模型的分析能力和稳定性。

2、本发明的第一方面，提出了一种数据库组件日志异常确定方法，包括：

3、获取待分析的数据库组件日志序列键；

4、将待分析的数据库组件日志序列键以随机掩码的方式输入至预先训练的日志分析模型得到正常日志键的概率；

5、根据正常日志键的概率的大小确定数据库组件日志是否异常。

6、进一步地，上述一种数据库组件日志异常确定方法中，获取待分析的数据库组件日志序列键，包括：

7、通过预编译以动态代理的方式抽取数据库系统运行过程中的数据库组件日志序列；

8、将数据库组件日志序列进行分析处理成日志事务并解析为多个日志序列键。

9、进一步地，上述一种数据库组件日志异常确定方法中，预先训练的日志分析模型的训练步骤至少包括：

10、获取多个数据库组件日志序列键；

11、将多个数据库组件日志序列键表征为特征向量；

12、将多个数据库组件日志序列键和特征向量输入到logbert自监督模型进行训练得到预先训练的日志分析模型。

13、进一步地，上述一种数据库组件日志异常确定方法中，根据正常日志键的概率的大小确定数据库组件日志是否异常，包括：

14、若正常日志键的概率大于预设阈值，确定数据库组件日志是正常日志；

15、若正常日志键的概率小于预设阈值，确定数据库组件日志是异常日志。

16、进一步地，上述一种数据库组件日志异常确定方法中，预编译，包括：

17、配置代理配置类webrequest，以@aspect对配置类进行注解，以@component注解将代理配置类标注为springboot的组件；

18、配置切面，将切面的规则匹配controller下所有类方法名称前缀为“operatestg_”；

19、在配置类中设置前置注解方法，并设置数据库组件日志模版起始点，前置注解方法至少包括：拦截前端请求，解析入网ip、请求方法、请求头和请求参数信息。

20、进一步地，上述一种数据库组件日志异常确定方法中，动态代理通过java的反射记录数据库系统运行过程中流程操作类方法和字段的信息。

21、进一步地，上述一种数据库组件日志异常确定方法中，将多个数据库组件日志序列键和特征向量输入到logbert自监督模型进行训练得到预先训练的日志分析模型的训练过程中，包括：

22、采用自监督的方式，以交叉熵损失作为收敛函数，把带掩码的正常数据库组件日志序列键作为模型输入，训练目标是预测被掩码的键，使日志分析模型学习到数据库组件日志序列的相关性；

23、计算正常数据库组件日志键和负样本数据库组件日志键之间的相似性，训练目标是在高维特征向量空间中拉近正常数据库组件日志键之间或异常数据库组件日志键之间的特征向量的相似性，拉开正常数据库组件日志键和异常数据库组件日志键之间的相似性。

24、本发明的第二方面，还提供一种数据库组件日志异常确定装置，包括：

25、获取模块：用于获取待分析的数据库组件日志序列键；

26、输入模块：用于将待分析的数据库组件日志序列键以随机掩码的方式输入至预先训练的日志分析模型得到正常日志键的概率；

27、确定模块：用于根据正常日志键的概率的大小确定数据库组件日志是否异常。

28、本发明的第三方面，还提出了一种电子设备，包括：处理器和存储器；

29、所述处理器通过调用所述存储器存储的程序或指令，用于执行如上所述任一项所述一种数据库组件日志异常确定方法。

30、本发明的第四方面，还提出了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如上所述任一项所述一种数据库组件日志异常确定方法。

31、本发明的有益效果如下：本发明通过获取待分析的数据库组件日志序列键；将待分析的数据库组件日志序列键以随机掩码的方式输入至预先训练的日志分析模型得到正常日志键的概率；根据正常日志键的概率的大小确定数据库组件日志是否异常。本发明获取待分析的数据库组件日志序列键通过预编译来实现运行期间的动态代理，以动态代理的方式来记录数据库组件日志的起始点，限制正常日志序列的上下文编码分布，形成标准化日志模版，预先训练的日志分析模型使用自监督的模型以异常数据库组件日志键和正常数据库组件日志键训练，解决了模型训练的缺少数据问题的同时，提升模型的分析能力和稳定性，通过预先训练的日志分析模型对待分析的数据库组件日志序列键进行分析，提升了日志分析的准确性和鲁棒性。

技术特征：

1.一种数据库组件日志异常确定方法，其特征在于，包括：

2.根据权利要求1所述的一种数据库组件日志异常确定方法，其特征在于，所述获取待分析的数据库组件日志序列键，包括：

3.根据权利要求1所述的一种数据库组件日志异常确定方法，其特征在于，预先训练的日志分析模型的训练步骤至少包括：

4.根据权利要求1所述的一种数据库组件日志异常确定方法，其特征在于，所述根据所述正常日志键的概率的大小确定数据库组件日志是否异常，包括：

5.根据权利要求2所述的一种数据库组件日志异常确定方法，其特征在于，所述预编译，包括：

6.根据权利要求2所述的一种数据库组件日志异常确定方法，其特征在于，所述动态代理通过java的反射记录数据库系统运行过程中流程操作类方法和字段的信息。

7.根据权利要求3所述的一种数据库组件日志异常确定方法，其特征在于，所述将所述多个数据库组件日志序列键和所述特征向量输入到logbert自监督模型进行训练得到预先训练的日志分析模型的训练过程中，包括：

8.一种数据库组件日志异常确定装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器和存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述一种数据库组件日志异常确定方法。

技术总结本发明涉及一种数据库组件日志异常确定方法及装置，属于IT应用技术领域，该方法包括：获取待分析的数据库组件日志序列键；将待分析的数据库组件日志序列键以随机掩码的方式输入至预先训练的日志分析模型得到正常日志键的概率；根据正常日志键的概率的大小确定数据库组件日志是否异常。本发明获取待分析的数据库组件日志序列键通过预编译来实现运行期间的动态代理，预先训练的日志分析模型使用自监督的模型以异常数据库组件日志键和正常数据库组件日志键训练，解决了模型训练的缺少数据问题的同时，提升模型的分析能力和稳定性，通过预先训练的日志分析模型对待分析的数据库组件日志序列键进行分析，提升了日志分析的准确性和鲁棒性。技术研发人员：尹志华受保护的技术使用者：天翼云科技有限公司技术研发日：技术公布日：2024/7/29