一种事务日志段文件的处理方法、存储介质与设备与流程

本发明涉及数据库技术，特别是涉及一种事务日志段文件的处理方法、存储介质与设备。

背景技术：

1、在kingbasees数据库(简称kes数据库)中，事务日志其实指的是xlog日志，xlog日志中可能包含有用户数据。如果不对包含有用户数据的xlog日志进行加密，一旦非法人员获取到这些未加密的含有用户数据的xlog日志，通过简单的xlog日志回放操作即可获得用户数据，从而导致用户信息泄漏。因此，为了防止从xlog日志泄漏用户信息，需要xlog日志密钥对xlog日志进行加密，以保护用户信息。现有一些加密和解密方法，开启xlog日志加密功能，以默认page页大小为单位对xlog日志写缓存中的数据进行加密和解密。

2、另外，在一些场景中，xlog日志量较大，大量的xlog日志会占用较多带宽。因此，在这些场景下，需要压缩xlog日志以减小xlog日志量。

3、然而，目前的压缩方法通常是在xlog日志写流程中只可对xlog日志中的部分数据(page data)进行压缩，并且与xlog日志的加密流程是完全分离的，难以实现对xlog日志的加密和压缩的混合操作。另外，现有的加密和压缩方法多发生在两个线程，对数据库资源的占用较大，不仅造成了数据库资源的浪费和性能的损耗，更可能会出现由于不必要的加密或压缩操作，造成数据错误的问题。

技术实现思路

1、鉴于上述问题，提出了一种克服上述问题或者至少部分地解决上述问题的事务日志段文件的处理方法、存储介质与设备。

2、本发明的一个目的是要提供一种事务日志段文件的处理方法，可以支持对日志页进行加密及压缩的混合操作。

3、本发明一个进一步的目的是要提高对日志页进行处理的准确性。

4、特别地，本发明提供了一种事务日志段文件的处理方法，事务日志段文件包括多个日志页，每个日志页包括至少部分事务日志；并且处理方法包括：

5、在事务日志的写流程，获取日志页；

6、获取日志页在磁盘中的加密及压缩状态；

7、根据与日志页的加密及压缩状态对应的预设压缩加密方案对日志页进行处理。

8、可选地，加密及压缩状态包括仅需加密、仅需压缩、需要加密和压缩、无需加密或压缩；并且

9、预设压缩加密方案和加密及压缩状态数量相同，且一一对应设置；

10、预设压缩加密方案以及预设压缩加密方案和加密及压缩状态的对应关系预先存储在数据库中。

11、可选地，在日志页的加密及压缩状态为需要加密和压缩的情况下，根据与日志页的加密及压缩状态对应的预设压缩加密方案对日志页进行处理的步骤包括：

12、对日志页的待压缩区间内的数据进行压缩处理；

13、对日志页的已压缩区间内的数据进行数据对齐处理；

14、以数据对齐处理后的已压缩区间为加密粒度，对日志页进行加密处理。

15、可选地，日志页包括顺序排列的日志页头部、增设的预定长度的存储空间和数据区；并且

16、日志页头部用于存储事务日志加密标记和事务日志压缩标记；

17、增设的预定长度的存储空间用于存储已压缩区间的长度；

18、待压缩区间为日志页的数据区所在的数据区域。

19、可选地，在对日志页的待压缩区间内的数据进行压缩处理的步骤之后，处理方法还包括：

20、将已压缩区间的长度写入增设的预定长度的存储空间内；

21、将事务日志加密标记和事务日志压缩标记写入日志页头部。

22、可选地，在日志页的加密及压缩状态为仅需加密的情况下，根据与日志页的加密及压缩状态对应的预设压缩加密方案对日志页进行处理的步骤包括：

23、对日志页的待加密区间内的数据进行数据对齐处理；

24、以数据对齐处理后的待加密区间为加密粒度，对日志页进行加密处理。

25、可选地，在日志页的加密及压缩状态为仅需压缩的情况下，根据与日志页的加密及压缩状态对应的预设压缩加密方案对日志页进行处理的步骤包括：

26、对日志页的待压缩区间内的数据进行压缩处理。

27、可选地，在日志页的加密及压缩状态为无需加密或压缩的情况下，根据与日志页的加密及压缩状态对应的预设压缩加密方案对日志页进行处理的步骤包括：

28、跳过对日志页的加密和压缩操作。

29、根据本发明的另一个方面，还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种的事务日志段文件的处理方法。

30、根据本发明的又一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现上述任一种的事务日志段文件的处理方法。

31、本发明的事务日志段文件的处理方法，通过在事务日志的写流程，获取日志页，获取日志页在磁盘中的加密及压缩状态，并根据与日志页的加密及压缩状态对应的预设压缩加密方案对日志页进行处理，保证了准确地对需要加密和/或压缩的数据页进行针对性地处理，可以支持对日志页进行加密及压缩的混合操作，减小了因加密和压缩操作频繁导致的数据库资源的浪费和性能的损耗，避免了不必要的数据库资源浪费，从而提高了数据库的运行效率。

32、进一步地，本发明的事务日志段文件的处理方法中的加密及压缩状态包括仅需加密、仅需压缩、需要加密和压缩、无需加密或压缩，预设压缩加密方案和加密及压缩状态数量相同，且一一对应设置，并且预设压缩加密方案以及预设压缩加密方案和加密及压缩状态的对应关系预先存储在数据库中，细化了日志页的加密及压缩状态，提高了对日志页的针对性处理的准确性。

33、根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

技术特征：

1.一种事务日志段文件的处理方法，所述事务日志段文件包括多个日志页，每个所述日志页包括至少部分事务日志；并且所述处理方法包括：

2.根据权利要求1所述的事务日志段文件的处理方法，其中，所述加密及压缩状态包括仅需加密、仅需压缩、需要加密和压缩、无需加密或压缩；并且

3.根据权利要求2所述的事务日志段文件的处理方法，

4.根据权利要求3所述的事务日志段文件的处理方法，其中，所述日志页包括顺序排列的日志页头部、增设的预定长度的存储空间和数据区；并且

5.根据权利要求4所述的事务日志段文件的处理方法，其中，

6.根据权利要求2所述的事务日志段文件的处理方法，其中，

7.根据权利要求2所述的事务日志段文件的处理方法，其中，

8.根据权利要求2所述的事务日志段文件的处理方法，其中，

9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的事务日志段文件的处理方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的事务日志段文件的处理方法。

技术总结本发明涉及数据库技术，特别是涉及一种事务日志段文件的处理方法、存储介质与设备。该事务日志段文件包括多个日志页，每个日志页包括至少部分事务日志。该事务日志段文件的处理方法包括：在事务日志的写流程，获取日志页；获取日志页在磁盘中的加密及压缩状态；根据与日志页的加密及压缩状态对应的预设压缩加密方案对日志页进行处理。本发明的事务日志段文件的处理方法，支持对日志页进行加密及压缩的混合操作，减小了因加密和压缩操作频繁导致的数据库资源的浪费和性能的损耗，提高了数据库的运行效率。技术研发人员：沈志伟受保护的技术使用者：北京人大金仓信息技术股份有限公司技术研发日：技术公布日：2024/9/12