一种数据库流式备份断点续传的方法、装置、设备及介质与流程

本发明涉及数据库运维，特别涉及一种数据库流式备份断点续传的方法、装置、设备及介质。

背景技术：

1、目前，数据库中常用于数据库灾难恢复的方法就是对数据库中存储的数据进行定期的备份。当发生数据库异常宕机无法正确读取数据库时，可以通过将备份数据重新恢复到数据库中，从而快速的恢复数据库业务功能，有效的保障了用户存储在数据库中的业务数据安全性和完整性，防止业务数据大规模丢失。

2、但，基于数据库日常积累的海量业务数据，在备份时因业务数据量占用巨大，数据库备份会耗费较长时间，通常以小时为单位，且会在备份过程中对网络传输造成较大压力。同时，因备份过程耗时长，备份数据网络传输压力大，会出现在备份过程中网络异常中断的情况，常规的备份方法只能重新发起备份命令，重新开始备份过程，上一次异常中断前的备份数据只能重新传输，这会造成不必要的网络传输压力，且会在备份数据所在服务器上产生垃圾备份数据。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种数据库流式备份断点续传的方法、装置、设备及介质，能够有效避免备份数据的重复传输，提高数据库备份效率，并减少对数据库服务器存储空间的影响。其具体方案如下：

2、第一方面，本技术提供了一种数据库流式备份断点续传的方法，应包括：

3、通过启动预设物理备份工具，进行数据库快照，并基于得到的数据库快照信息将本批次的待备份数据文件列表保存至服务器本地对应的预设列表文件；

4、基于所述预设列表文件、令牌桶算法以及预设文件物理备份规则进行文件压缩、文件传输、文件状态标注，直至本批次的各数据文件均被成功上传至对应的备份服务器，完成相应的流式备份操作，并得到相应的数据文件状态标注信息；

5、若在预设时间段内再次启动所述预设物理备份工具，则判断所述服务器本地是否存在上一批次的所述预设列表文件以及所述数据库快照信息，以得到相应的判断结果；

6、当所述判断结果表明存在时进行备份类型选择提示，若接收到的用户选择结果为断点续传，则基于上一批次的所述预设列表文件、对应的所述数据文件状态标注信息以及所述数据库快照信息触发相应的断点续传流程，以完成相应的文件备份。

7、可选的，所述通过启动预设物理备份工具，进行数据库快照，并基于得到的数据库快照信息将本批次的待备份数据文件列表保存至服务器本地对应的预设列表文件，包括：

8、基于相应的工具启动参数启动预设物理备份工具；其中，所述工具启动参数包括相应的数据库管理员账号信息、用于表征批量备份文件大小阈值的传入参数；

9、通过所述预设物理备份工具捕获数据库数据文件、日志文件、控制文件在任一时刻的完整状态，进行数据库快照，得到相应的数据库快照信息；

10、对本批次的备份参数信息进行保存；

11、基于所述数据库快照信息将本批次待备份的数据文件列表保存至服务器本地对应的预设列表文件。

12、可选的，所述基于所述预设列表文件、令牌桶算法以及预设文件物理备份规则进行文件压缩、文件传输、文件状态标注，包括：

13、通过所述预设物理备份工具以及令牌桶算法依次读取所述预设列表文件中的各待备份数据文件列表中的数据文件的文件大小；

14、当累加的文件总大小大于所述传入参数时，进行文件压缩，以得到相应的压缩后文件；

15、将所述压缩后文件传输至对应的远程存储备份文件的备份服务器中，并当文件传输成功时，将位于所述预设列表文件中对应位置的所述数据文件的文件状态标注为备份成功；

16、重新跳转至所述通过所述预设物理备份工具以及令牌桶算法依次读取所述预设列表文件中的各待备份数据文件列表中的数据文件的文件大小的步骤，直至本批次的各数据文件均被成功上传至对应的备份服务器，对所述预设列表文件进行删除，并得到相应的数据文件状态标注信息。

17、可选的，所述方法，还包括：

18、当文件传输成功时，删除对应的所述压缩后文件，并将记录本轮批量备份文件总大小的计数器置零。

19、可选的，所述基于所述预设列表文件、令牌桶算法以及预设文件物理备份规则进行文件压缩、文件传输，包括：

20、初始化令牌桶，并对对应的令牌桶容量信息、令牌生成速率阈值进行配置；

21、通过周期性地以恒定速率向所述令牌桶中增添令牌，直至基于所述令牌桶容量信息判定桶满；

22、通过所述预设物理备份工具读取所述预设列表文件中的所述数据文件，消耗所述令牌桶中的所述令牌，直至所述令牌桶中的令牌数量满足预设条件时，允许输出对应的所述数据文件，以便完成相应的文件压缩与传输操作。

23、可选的，所述基于上一批次的所述预设列表文件、对应的所述数据文件状态标注信息以及所述数据库快照信息触发相应的断点续传流程，包括：

24、通过所述预设物理备份工具对上一批次的所述数据库快照信息进行相应的有效性检测流程，以得到相应的检测结果；

25、当所述检测结果表明上一批次的所述数据库快照信息未失效时，进行快照信息备份；

26、基于对应的所述数据文件状态标注信息，从上一批次的所述预设列表文件中未被标注为备份成功的数据文件的文件位置起，继续读取文件，并进行相应的文件压缩、文件传输、文件状态标注，以完成相应的断点续传流程。

27、可选的，所述方法，还包括：

28、若在进行流式备份的过程中出现预设网络异常情况时，通过识别当前的异常情况类型，终止备份或基于预设重试策略进行相应的重试操作；其中，所述预设重试策略包括相应的固定间隔重试策略、指数退避重试策略。

29、第二方面，本技术提供了一种数据库流式备份断点续传的装置，包括：

30、文件保存模块，用于通过启动预设物理备份工具，进行数据库快照，并基于得到的数据库快照信息将本批次的待备份数据文件列表保存至服务器本地对应的预设列表文件；

31、流式备份模块，用于基于所述预设列表文件、令牌桶算法以及预设文件物理备份规则进行文件压缩、文件传输、文件状态标注，直至本批次的各数据文件均被成功上传至对应的备份服务器，完成相应的流式备份操作，并得到相应的数据文件状态标注信息；

32、信息判断模块，用于若在预设时间段内再次启动所述预设物理备份工具，则判断所述服务器本地是否存在上一批次的所述预设列表文件以及所述数据库快照信息，以得到相应的判断结果；

33、断点续传模块，用于当所述判断结果表明存在时进行备份类型选择提示，若接收到的用户选择结果为断点续传，则基于上一批次的所述预设列表文件、对应的所述数据文件状态标注信息以及所述数据库快照信息触发相应的断点续传流程，以完成相应的文件备份。

34、第三方面，本技术提供了一种电子设备，包括：

35、存储器，用于保存计算机程序；

36、处理器，用于执行所述计算机程序，以实现前述的数据库流式备份断点续传的方法的步骤。

37、第四方面，本技术提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的数据库流式备份断点续传的方法的步骤。

38、可见，本技术中，通过启动预设物理备份工具，进行数据库快照，并基于得到的数据库快照信息将本批次的待备份数据文件列表保存至服务器本地对应的预设列表文件；基于所述预设列表文件、令牌桶算法以及预设文件物理备份规则进行文件压缩、文件传输、文件状态标注，直至本批次的各数据文件均被成功上传至对应的备份服务器，完成相应的流式备份操作，并得到相应的数据文件状态标注信息；若在预设时间段内再次启动所述预设物理备份工具，则判断所述服务器本地是否存在上一批次的所述预设列表文件以及所述数据库快照信息，以得到相应的判断结果；当所述判断结果表明存在时进行备份类型选择提示，若接收到的用户选择结果为断点续传，则基于上一批次的所述预设列表文件、对应的所述数据文件状态标注信息以及所述数据库快照信息触发相应的断点续传流程，以完成相应的文件备份。也即，本技术中，使用记录数据库快照信息、将数据文件列表备份至对应的预设列表文件的方式，是实现数据库备份数据断点续传的前置条件，且通过在数据传输成功后更新所述预设列表文件中的数据文件的文件状态，并在断点续传时利用该状态信息实现备份数据的断点续传。这样一来，能够有效避免备份数据的重复传输，提高数据库备份效率，并减少对数据库服务器存储空间的影响。