一种数据任务执行系统、方法、装置、设备及介质与流程

本发明涉及电数字数据处理，尤其涉及一种数据任务执行系统、方法、装置、设备及介质。

背景技术：

1、企业的业务系统中存储有大量的业务数据表。各个业务数据表可以用于存储指定类型的业务数据。在业务系统与其他企业的业务系统进行交互过程中，需要定时执行多个数据任务。每一个数据任务可以是从指定业务数据表中抽取业务数据，对抽取的业务数据进行清洗转换处理，然后存储至指定数据表中的任务。

2、相关技术中，常用的数据任务执行方案为：将各个数据任务的任务信息存储至指定电子设备中，控制指定电子设备定时根据各个数据任务的任务信息执行各个数据任务。在数据任务的执行过程中会出现数据异常或执行过程中断的异常情况。相关技术中的数据任务执行方案无法在各个数据任务的执行过程中，监测是否出现数据异常或执行过程中断的异常情况，无法对出现的异常情况进行处理，导致数据任务执行过程的准确性和可靠性较低。

技术实现思路

1、本发明提供了一种数据任务执行系统、方法、装置、设备及介质，以解决相关技术中的数据任务执行方案无法在各个数据任务的执行过程中，监测是否出现数据异常或执行过程中断的异常情况，无法对出现的异常情况进行处理，导致数据任务执行过程的准确性和可靠性较低的问题。

2、根据本发明的一方面，提供了一种数据任务执行系统，包括：任务调度模块和预设数量的任务执行模块；

3、其中，所述任务调度模块，用于定时发送任务执行指令至各所述任务执行模块；

4、各所述任务执行模块，用于在接收到所述任务执行指令之后，通过数据备份组件对与任务执行模块的目标数据任务对应的业务数据表进行数据备份；运行与所述目标数据任务对应的任务执行代码段，通过所述任务执行代码段从与所述目标数据任务对应的业务数据表中抽取业务数据，对抽取的业务数据进行清洗转换处理，并将清洗转换处理后的业务数据存储至与所述目标数据任务对应的目标数据表中；在所述任务执行代码段的运行过程中，通过数据校验组件对与所述目标数据任务相关的数据进行校验，确定与所述目标数据任务相关的数据是否异常，并在确定与所述目标数据任务相关的数据异常之后，将数据异常信息存储至第一存储位置；在所述任务执行代码段的运行过程中，通过预警监测组件，监测是否有数据异常信息存储至第一存储位置，并在监测到有数据异常信息存储至所述第一存储位置之后，输出所述数据异常信息；在所述任务执行代码段的运行过程中，通过中断监测组件，监测所述任务执行代码段在运行时是否发生中断，并在监测到所述任务执行代码段在运行时发生中断之后，将中断异常信息存储至第二存储位置；在所述任务执行代码段的运行过程中，通过中断处理组件，监测是否有中断异常信息存储至第二存储位置，并在监测到有中断异常信息存储至所述第二存储位置之后，根据所述中断异常信息控制所述任务执行代码段恢复运行。

5、根据本发明的另一方面，提供了一种数据任务执行方法，应用于数据任务执行系统中的任务执行模块中，包括：

6、在接收到任务执行指令之后，通过数据备份组件对与任务执行模块的目标数据任务对应的业务数据表进行数据备份；

7、运行与所述目标数据任务对应的任务执行代码段，通过所述任务执行代码段从与所述目标数据任务对应的业务数据表中抽取业务数据，对抽取的业务数据进行清洗转换处理，并将清洗转换处理后的业务数据存储至与所述目标数据任务对应的目标数据表中；

8、在所述任务执行代码段的运行过程中，通过数据校验组件对与所述目标数据任务相关的数据进行校验，确定与所述目标数据任务相关的数据是否异常，并在确定与所述目标数据任务相关的数据异常之后，将数据异常信息存储至第一存储位置；

9、在所述任务执行代码段的运行过程中，通过预警监测组件，监测是否有数据异常信息存储至第一存储位置，并在监测到有数据异常信息存储至所述第一存储位置之后，输出所述数据异常信息；

10、在所述任务执行代码段的运行过程中，通过中断监测组件，监测所述任务执行代码段在运行时是否发生中断，并在监测到所述任务执行代码段在运行时发生中断之后，将中断异常信息存储至第二存储位置；

11、在所述任务执行代码段的运行过程中，通过中断处理组件，监测是否有中断异常信息存储至第二存储位置，并在监测到有中断异常信息存储至所述第二存储位置之后，根据所述中断异常信息控制所述任务执行代码段恢复运行。

12、根据本发明的另一方面，提供了一种数据任务执行装置，配置于数据任务执行系统中的任务执行模块中，包括：

13、数据备份单元，用于在接收到任务执行指令之后，通过数据备份组件对与任务执行模块的目标数据任务对应的业务数据表进行数据备份；

14、任务执行单元，用于运行与所述目标数据任务对应的任务执行代码段，通过所述任务执行代码段从与所述目标数据任务对应的业务数据表中抽取业务数据，对抽取的业务数据进行清洗转换处理，并将清洗转换处理后的业务数据存储至与所述目标数据任务对应的目标数据表中；

15、数据校验单元，用于在所述任务执行代码段的运行过程中，通过数据校验组件对与所述目标数据任务相关的数据进行校验，确定与所述目标数据任务相关的数据是否异常，并在确定与所述目标数据任务相关的数据异常之后，将数据异常信息存储至第一存储位置；

16、数据异常处理单元，用于在所述任务执行代码段的运行过程中，通过预警监测组件，监测是否有数据异常信息存储至第一存储位置，并在监测到有数据异常信息存储至所述第一存储位置之后，输出所述数据异常信息；

17、中断检测单元，用于在所述任务执行代码段的运行过程中，通过中断监测组件，监测所述任务执行代码段在运行时是否发生中断，并在监测到所述任务执行代码段在运行时发生中断之后，将中断异常信息存储至第二存储位置；

18、中断异常处理单元，用于在所述任务执行代码段的运行过程中，通过中断处理组件，监测是否有中断异常信息存储至第二存储位置，并在监测到有中断异常信息存储至所述第二存储位置之后，根据所述中断异常信息控制所述任务执行代码段恢复运行。

19、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

20、至少一个处理器；

21、以及与所述至少一个处理器通信连接的存储器；

22、其中，所述存储器存储有被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据任务执行方法。

23、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据任务执行方法。

24、本发明实施例的技术方案中，各任务执行模块在接收到任务调度模块定时发送的任务执行指令之后，通过数据备份组件对与任务执行模块的目标数据任务对应的业务数据表进行数据备份；各任务执行模块运行与目标数据任务对应的任务执行代码段，通过任务执行代码段从与目标数据任务对应的业务数据表中抽取业务数据，对抽取的业务数据进行清洗转换处理，并将清洗转换处理后的业务数据存储至与目标数据任务对应的目标数据表中；在任务执行代码段的运行过程中，各任务执行模块通过数据校验组件对与目标数据任务相关的数据进行校验，确定与目标数据任务相关的数据是否异常，并在确定与所述目标数据任务相关的数据异常之后，将数据异常信息存储至第一存储位置；在任务执行代码段的运行过程中，各任务执行模块通过预警监测组件，监测是否有数据异常信息存储至第一存储位置，并在监测到有数据异常信息存储至第一存储位置之后，输出数据异常信息；在任务执行代码段的运行过程中，各任务执行模块通过中断监测组件，监测任务执行代码段在运行时是否发生中断，并在监测到任务执行代码段在运行时发生中断之后，将中断异常信息存储至第二存储位置；在任务执行代码段的运行过程中，各任务执行模块通过中断处理组件，监测是否有中断异常信息存储至第二存储位置，并在监测到有中断异常信息存储至第二存储位置之后，根据中断异常信息控制所述任务执行代码段恢复运行，解决了相关技术中的数据任务执行方案无法在各个数据任务的执行过程中，监测是否出现数据异常或执行过程中断的异常情况，无法对出现的异常情况进行处理，导致数据任务执行过程的准确性和可靠性较低的问题，可以通过各个任务执行模块定时执行各个数据任务，可以在各个任务执行模块执行各个数据任务的过程中，对相关的数据进行校验，确定数据是否异常，并在确定数据异常之后输出数据异常信息，可以在各个任务执行模块执行各个数据任务的过程中，监测执行过程是否中断，并在监测到执行过程中断之后，恢复执行过程，实现了在各个数据任务的执行过程中，自动监测是否出现数据异常或执行过程中断的异常情况，并对出现的异常情况进行处理，提高了数据任务执行过程的准确性和可靠性。

25、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。