数据割接方法及装置与流程

本技术涉及数据处理，特别涉及一种数据割接方法及装置。

背景技术：

1、当分布式系统中存储的数据存在更新，或数据模型发生变更时，需要对该分布式系统中各个子系统存储的数据进行数据割接。其中，数据割接一般包括下述操作中的至少一种：数据更新、数据修补、数据删除、数据增补和数据迁移等。

2、相关技术中，一般需要在各个子系统分别配置数据割接范围和数据割接流程，并通过各个子系统的数据管理平台分别执行数据割接脚本，以实现数据割接。但是，上述数据割接方法的效率和灵活性较低。

技术实现思路

1、本技术提供了一种数据割接方法及装置，可以解决相关技术中的数据割接方法的效率和灵活性较低的技术问题。

2、第一方面，提供了一种数据割接方法，用于对至少一个数据源执行数据割接，且该方法可以应用于数据割接装置中，该数据割接装置也可以称为数据割接平台，其可以是服务软件包或者云服务等。该方法包括：生成割接流程的编排界面，通过该编排界面接收编排操作，该编排操作用于编排该数据割接的子任务。基于该编排操作，确定该数据割接的子任务之间的依赖关系，并按照该依赖关系，调用至少一个数据源执行该数据割接的子任务。之后，生成进度界面，该进度界面中显示有数据割接的子任务的执行进度。

3、由于本技术提供的方法实现了对数据割接的子任务的可视化编排，且能够基于编排后的依赖关系统一调用至少一个数据源执行数据割接的子任务，因此能有效提高数据割接的效率和灵活性。又由于该方法能够可视化呈现数据割接的子任务的执行进度，因此可以便于割接管理人员直观了解数据割接的进度，并快速定位数据割接过程中出现的问题和原因。

4、可选地，该至少一个数据源可以包括数据系统，该数据割接的子任务包括该数据系统待执行的至少一个第一数据割接的子任务。相应的，调用该至少一个数据源执行数据割接的子任务的过程可以包括：调用该数据系统的割接接口，指示该数据系统执行该至少一个第一数据割接的子任务。

5、其中，该第一数据割接的子任务也可以称为接口类的割接任务，本技术提供的方法能够通过调用割接接口以实现第一数据割接的子任务的执行，有效提高了数据割接的效率和灵活性。

6、可选地，在调用至少一个数据源执行该数据割接的子任务之前，该方法还可以包括：配置该割接接口的接口规范以及数据割接软件开发工具包(software developmentkit，sdk)。其中，该接口规范可以用于开发该割接接口，该数据割接sdk集成于该数据系统。

7、本技术提供的方法能够统一配置割接接口的接口规范和sdk，从而可以有效提升割接接口的开发效率和质量。

8、可选地，该至少一个数据源可以包括数据库，该数据割接的子任务包括该数据库待执行的至少一个第二数据割接的子任务。相应的，调用至少一个数据源执行该数据割接的子任务的过程可以包括：指示该数据库执行数据割接脚本，指示该数据库执行该至少一个第二数据割接的子任务。

9、其中，该第二数据割接的子任务也可以称为脚本类的割接任务。该数据割接脚本可以是结构化查询语言(structured query language，sql)脚本，且该数据割接脚本可以是数据割接装置中预先配置的。本技术提供的方法支持对不同类型的数据源中的数据进行割接，有效提高了数据割接的灵活性。

10、可选地，在通过编排界面接收针对数据割接的子任务的编排操作之前，该方法还可以包括：配置该至少一个数据源，以及该至少一个数据源待执行的数据割接的子任务。

11、其中，数据割接装置可以基于研发人员的配置操作，配置该至少一个数据源和数据割接的子任务。并且，该至少一个数据源可以是不同类型的数据源，例如，该至少一个数据源可以包括数据系统和数据库。数据割接装置配置数据割接的子任务可以是指配置该数据割接的子任务的元数据。其中，每个数据割接的子任务的元数据可以包括：任务标识，任务名称，任务类型，任务描述，以及任务所引用的数据源的访问端点等。

12、可选地，该方法还可以包括：通过编排界面接收第一配置操作，基于该第一配置操作，确定该数据割接的子任务的回滚规则；在调用至少一个数据源执行数据割接的子任务的过程中，若检测到该数据割接的子任务中的任一数据割接的子任务触发回滚规则，则从触发该回滚规则的数据割接的子任务为回滚触发点，执行回滚流程，其中，该进度界面中还显示有该回滚流程的执行进度。

13、本技术提供的方法能够基于配置的回滚规则，自动触发并执行回滚流程，从而有效提高了数据割接的效率和可靠性。

14、可选地，在执行回滚流程之前，该方法还可以包括：对该数据割接的子任务之间的依赖关系进行反向编排，得到回滚流程。

15、由于本技术提供的方法能够自动生成回滚流程，因此可以有效提升回滚流程的设计效率和质量，防止人为回滚导致的规划错误。

16、可选地，该方法还可以包括：通过编排界面接收第二配置操作；基于该第二配置操作，确定该数据割接的子任务中至少一个数据割接的子任务的重试规则；在调用至少一个数据源执行该数据割接的子任务的过程中，若检测到该至少一个数据割接的子任务中的任一数据割接的子任务执行失败，则按照该重试规则对执行失败的数据割接的子任务执行重试操作，其中，该进度界面中还显示有该重试操作的执行进度。

17、本技术提供的方法能够基于配置的重试规则，自动执行重试操作，从而有效提高了数据割接的效率和可靠性。

18、可选地，在确定该数据割接的子任务之间的依赖关系之前，该方法还可以包括：在该编排界面中提供至少一个割接流程模板，基于针对该至少一个割接流程模板中目标割接流程模板的选择操作，在编排界面中提供该目标割接流程模板，并接收针对该目标割接流程模板中的数据割接的子任务的编排操作。

19、通过配置割接流程模板，可以便于规划人员基于合适的割接流程模板，快速完成对数据割接的子任务的编排，从而有效简化了数据割接的操作，提高了数据割接的效率。

20、可选地，在按照该依赖关系，调用至少一个数据源执行该数据割接的子任务之前，该方法还可以包括：生成参数配置界面，并通过该参数配置界面接收该数据割接的子任务的配置参数。

21、其中，每个数据割接的子任务的配置参数可以包括该数据割接的子任务所需割接的数据范围。通过在参数配置界面中可视化配置数据割接的子任务的配置参数，可以有效提高参数配置的效率和可靠性。

22、可选地，该方法还可以包括：在进度界面中提供进度控制控件，并基于接收到的针对该进度控制控件的选择操作，控制该数据割接的子任务的执行进度。

23、其中，该进度控制控件可以包括下述控件中的至少一种：中止流程控件、继续流程控件、结束流程控件和回滚流程控件等。通过提供进度控制控件，可以便于参与割接的运维人员灵活调整和控制该数据割接的子任务的执行进度。

24、可选地，在按照该依赖关系，调用至少一个数据源执行该数据割接的子任务之后，该方法还可以包括：记录该数据割接的子任务的割接过程数据，并基于接收到的数据查看指令，生成历史管理界面，该历史管理界面中显示有该割接过程数据。

25、通过对割接过程数据进行记录和归档，可以实现数据割接流程的端到端可追溯，并便于对数据割接流程进行合规审视。

26、第二方面，提供了一种数据割接装置，该数据割接装置可以包括至少一个模块，该至少一个模块可以用于实现上述方面所提供的数据割接方法。

27、第三方面，提供了一种计算设备，该计算设备包括处理器和存储器。该处理器用于执行该存储器中存储的指令，以实现上述方面所提供的数据割接方法。

28、第四方面，提供了一种计算设备集群，该计算设备集群包括至少一个计算设备，每个计算设备包括处理器和存储器。该至少一个计算设备的处理器用于执行该至少一个计算设备的存储器中存储的指令，以使得计算设备集群执行上述方面所提供的数据割接方法。

29、第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序指令，当该计算机程序指令由计算设备集群执行时，该计算设备集群执行如上述方面所提供的数据割接方法。

30、第六方面，提供了一种包含指令的计算机程序产品，当该指令被计算设备集群运行时，使得该计算设备集群执行如上述方面所提供的数据割接方法。

31、综上所述，本技术提供了一种数据割接方法及装置，本技术提供的方案能够生成编排界面，通过该编排界面接收编排操作，并确定数据割接的子任务之间的依赖关系。之后，即可按照该依赖关系，调用至少一个数据源执行所述数据割接的子任务。由于本技术提供的方法实现了对数据割接的子任务的可视化编排，且能够基于编排后的依赖关系统一调用至少一个数据源执行数据割接的子任务，因此能够有效提高数据割接的效率和灵活性。又由于能够可视化呈现数据割接的子任务的执行进度，因此可以便于割接管理人员直观了解数据割接的进度，并快速定位数据割接过程中出现的问题和原因。