一种基于文件存储系统的Flink自启动方法与流程

本发明涉及flink自启动，尤其涉及一种基于文件存储系统的flink自启动方法。

背景技术：

1、众所周知，flink(即apache flink)是一个分布式的开源流处理框架，用于在无边界和有边界数据流上进行有状态的计算。在flink中，保存点(savepoint)是一项关键功能，其允许用户在任何时候手动创建流处理作业的状态快照，并在后续阶段恢复作业运行。在需要停止作业但希望在之后某个时刻重新启动的情况下，可以先触发保存点，然后安全地关闭作业，之后再从保存点位置重新启动作业，避免数据丢失和重复处理。

2、在现有的技术中，每次flink任务重新启动时，都需要先触发保存点，然后安全地关闭作业，之后再从保存点位置重新启动作业，更新步骤麻烦和繁琐，且每次都要进入flink的脚本界面执行脚本，耗费时间长。

技术实现思路

1、本发明所要解决的技术问题是：提供一种基于文件存储系统的flink自启动方法，以解决现有的flink任务的启动需要触发保存点，更新步骤麻烦和繁琐，且每次都要进入flink的脚本界面执行脚本，耗费时间长的问题。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种基于文件存储系统的flink自启动方法，文件存储系统中包括若干个检查点，所述基于文件存储系统的flink自启动方法包括以下步骤：

4、s1：从若干个检查点中确定目标任务的目标检查点，所述目标检查点为所述目标任务对应的若干个检查点中生成时间最新的检查点；

5、s2：根据所述目标检查点，启动所述目标任务。

6、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，在步骤s1中，包括以下步骤：

7、s11：获取所述目标任务的任务名称；

8、s12：根据所述任务名称，获取与所述任务名称关联的检查点存储目录；

9、s13：从所述检查点存储目录包含的所有检查点中确定所述目标检查点。

10、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，在步骤s13中，包括以下步骤：

11、s131：将所述检查点存储目录中的所有检查点按生成时间戳降序排列，以形成降序排列表；

12、s132：将所述降序排列表中位于序列顶端的第一检查点设置为所述目标检查点。

13、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，在步骤s2中，包括以下步骤：

14、s21：对所述目标检查点进行完整性验证；

15、s22：在完整性验证通过的情况下，将所述目标检查点的文件路径设置为所述目标任务的启动路径。

16、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，在步骤s21中，包括：判断所述目标检查点对应的文件夹中是否存在目标文件，当存在所述目标文件时，所述目标检查点的完整性验证通过；当不存在所述目标文件时，所述目标检查点的完整性验证不通过。

17、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，还包括步骤：

18、s3：针对所述目标任务周期性地生成检查点；

19、s4：将生成的检查点存储至所述文件存储系统。

20、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，在步骤s3中，包括以下步骤：

21、s31：通过启动检查点功能以开启检查点生成机制；

22、s32：设置检查点的生成周期；

23、s33：根据所述生成周期，周期性地生成检查点。

24、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，在步骤s32中，包括：获取预设指标的属性值，并根据所述属性值，设置所述检查点的生成周期。

25、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，所述预设指标包括以下至少其中之一：业务处理速度、数据更新频率以及容错恢复时间。

26、进一步地，在本发明所述的基于文件存储系统的flink自启动方法中，还包括以下步骤：

27、s5：获取所述目标任务的任务名称以及步骤s3中生成检查点的生成时间戳；

28、s6：将所述任务名称以及所述生成时间戳组合拼接，以生成所述检查点的名称。

29、本发明的有益效果在于：若要启动目标任务(如进行版本更新)，可以先从文件存储系统中获取与所述目标任务关联的若干个检查点。之后再从若干个检查点确定生成时间最新的检查点(即目标检查点)，进而根据目标检查点启动任务，达成从目标检查点生成的效果，避免数据丢失和重复处理，无需每次都去创建保存点，缩短更新周期，加快程序的启动速度。也就是说，本发明选取时间戳最新的检查点，旨在准确捕获任务中断前的即时状态快照，从而摆脱对flink任务逐个手动创建保存点的繁琐依赖，实现了目标任务启动的无缝自动化，显著简化了上线前的操作流程，大幅度缩短了整体更新周期。

技术特征：

1.一种基于文件存储系统的flink自启动方法，其特征在于，所述文件存储系统中包括若干个检查点，所述方法包括以下步骤：

2.根据权利要求1所述的flink自启动方法，其特征在于，在步骤s1中，包括以下步骤：

3.根据权利要求1所述的flink自启动方法，其特征在于，在步骤s13中，包括以下步骤：

4.根据权利要求1所述的flink自启动方法，其特征在于，在步骤s2中，包括以下步骤：

5.根据权利要求1所述的flink自启动方法，其特征在于，在步骤s21中，包括以下步骤：

6.根据权利要求1所述的flink自启动方法，其特征在于，还包括步骤：

7.根据权利要求6所述的flink自启动方法，其特征在于，在步骤s3中，包括以下步骤：

8.根据权利要求7所述的flink自启动方法，其特征在于，在步骤s32中，包括以下步骤：获取预设指标的属性值，并根据所述属性值，设置所述检查点的生成周期。

9.根据权利要求8所述的flink自启动方法，其特征在于，所述预设指标包括以下至少其中之一：业务处理速度、数据更新频率以及容错恢复时间。

10.根据权利要求6所述的flink自启动方法，其特征在于，所述方法还包括以下步骤：

技术总结本发明公开了一种基于文件存储系统的Flink自启动方法，文件存储系统中包括若干个检查点，所述方法包括以下步骤：从若干个检查点中确定目标任务的目标检查点，所述目标检查点为所述目标任务对应的若干个检查点中生成时间最新的检查点；根据所述目标检查点，启动所述目标任务。本发明选取生成时间最新的检查点启动目标任务，旨在准确捕获目标任务中断前的即时状态快照，从而摆脱对目标任务逐个手动创建保存点的繁琐依赖，实现了目标任务启动的无缝自动化，显著简化了上线前的操作流程，大幅度压缩了整体更新周期，以达到快速启动的效果让程序更加快速的启动。技术研发人员：王豪,林少中,郑其荣,李国伟受保护的技术使用者：福建时代星云科技有限公司技术研发日：技术公布日：2024/9/9