一种任务处理方法、装置、电子设备及计算机可读介质与流程

本申请涉及数据处理，尤其涉及一种任务处理方法、装置、电子设备及计算机可读介质。

背景技术：

1、目前，通过轻量级的、完善的批处理框架（springbatch）进行拆批处理的方式，部署多台分布式的服务器，将原来的大事务拆分成很多小的事务进行并行处理，任务处理难度大、风险高、效率低。

技术实现思路

1、有鉴于此，本申请实施例提供一种任务处理方法、装置、电子设备及计算机可读介质，能够解决现有的任务处理难度大、风险高、效率低的问题。

2、为实现上述目的，根据本申请实施例的一个方面，提供了一种任务处理方法，包括：响应于任务处理请求，获取对应的数据库标识和任务标识，进而基于任务标识，获取对应的批处理任务；调用持久层框架接口，以获取配置数据，进而基于配置数据，动态生成批处理任务对应的分布式查询语句；提交分布式查询语句和预设的最大计算资源至分布式批处理集群，进而获取分布式批处理集群生成的批处理计算任务；从数据库标识对应的数据库中获取待分析数据，调用分布式批处理框架以基于待分析数据执行批处理计算任务，得到任务执行结果数据；将任务执行结果数据分批次写入数据库。

3、可选地，基于配置数据，动态生成批处理任务对应的分布式查询语句，包括：基于配置数据，确定查询语句记录标识和动态参数；根据查询语句记录标识和动态参数，动态生成对应的分布式查询语句。

4、可选地，动态生成对应的分布式查询语句，包括：根据查询语句记录标识，查询得到对应的查询语句记录；基于动态参数修改查询语句记录对应的查询语句，以动态生成对应的分布式查询语句。

5、可选地，提交分布式查询语句和预设的最大计算资源至分布式批处理集群，包括：通过统一封装的分布式执行器请求端，将分布式查询语句和预设的最大计算资源提交至分布式批处理集群。

6、可选地，批处理计算任务基于分布式查询语句和预设的最大计算资源生成。

7、可选地，将任务执行结果数据分批次写入数据库，包括：基于批处理计算任务拆分任务执行结果数据，以得到各个批次数据；基于目标数据库连接，访问目标数据库，将各个批次数据并行写入目标数据库。

8、另外，本申请还提供了一种任务处理装置，包括：获取单元，被配置成响应于任务处理请求，获取对应的数据库标识和任务标识，进而基于任务标识，获取对应的批处理任务；分布式查询语句生成单元，被配置成调用持久层框架接口，以获取配置数据，进而基于配置数据，动态生成批处理任务对应的分布式查询语句；提交单元，被配置成提交分布式查询语句和预设的最大计算资源至分布式批处理集群，进而获取分布式批处理集群生成的批处理计算任务；任务执行单元，被配置成从数据库标识对应的数据库中获取待分析数据，调用分布式批处理框架以基于待分析数据执行批处理计算任务，得到任务执行结果数据；分批次写入单元，被配置成将任务执行结果数据分批次写入数据库。

9、可选地，分布式查询语句生成单元进一步被配置成：基于配置数据，确定查询语句记录标识和动态参数；根据查询语句记录标识和动态参数，动态生成对应的分布式查询语句。

10、可选地，分布式查询语句生成单元进一步被配置成：根据查询语句记录标识，查询得到对应的查询语句记录；基于动态参数修改查询语句记录对应的查询语句，以动态生成对应的分布式查询语句。

11、可选地，提交单元进一步被配置成：通过统一封装的分布式执行器请求端，将分布式查询语句和预设的最大计算资源提交至分布式批处理集群。

12、可选地，批处理计算任务基于分布式查询语句和预设的最大计算资源生成。

13、可选地，分批次写入单元进一步被配置成：基于批处理计算任务拆分任务执行结果数据，以得到各个批次数据；基于目标数据库连接，访问目标数据库，将各个批次数据并行写入目标数据库。

14、另外，本申请还提供了一种任务处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的任务处理方法。

15、另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的任务处理方法。

16、为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。

17、本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的任务处理方法。

18、上述发明中的一个实施例具有如下优点或有益效果：本申请通过响应于任务处理请求，获取对应的数据库标识和任务标识，进而基于任务标识，获取对应的批处理任务；调用持久层框架接口，以获取配置数据，进而基于配置数据，动态生成批处理任务对应的分布式查询语句；提交分布式查询语句和预设的最大计算资源至分布式批处理集群，进而获取分布式批处理集群生成的批处理计算任务；从数据库标识对应的数据库中获取待分析数据，调用分布式批处理框架以基于待分析数据执行批处理计算任务，得到任务执行结果数据；将任务执行结果数据分批次写入数据库。从而降低任务处理难度和任务处理风险，提高任务处理效率。

19、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

技术特征：

1.一种任务处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述配置数据，动态生成所述批处理任务对应的分布式查询语句，包括：

3.根据权利要求2所述的方法，其特征在于，所述动态生成对应的分布式查询语句，包括：

4.根据权利要求1所述的方法，其特征在于，所述提交所述分布式查询语句和预设的最大计算资源至分布式批处理集群，包括：

5.根据权利要求1所述的方法，其特征在于，所述批处理计算任务基于所述分布式查询语句和所述预设的最大计算资源生成。

6.根据权利要求1所述的方法，其特征在于，所述将所述任务执行结果数据分批次写入所述数据库，包括：

7.一种任务处理装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述分布式查询语句生成单元进一步被配置成：

9.根据权利要求8所述的装置，其特征在于，所述分布式查询语句生成单元进一步被配置成：

10.根据权利要求7所述的装置，其特征在于，所述提交单元进一步被配置成：

11.根据权利要求7所述的装置，其特征在于，所述批处理计算任务基于所述分布式查询语句和所述预设的最大计算资源生成。

12.根据权利要求7所述的装置，其特征在于，所述分批次写入单元进一步被配置成：

13.一种任务处理电子设备，其特征在于，包括：

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

技术总结本申请公开了一种任务处理方法、装置、电子设备及计算机可读介质，涉及数据处理技术领域，该方法包括：响应于任务处理请求，获取对应的数据库标识和任务标识，进而基于任务标识，获取对应的批处理任务；调用持久层框架接口，以获取配置数据，进而基于配置数据，动态生成批处理任务对应的分布式查询语句；提交分布式查询语句和预设的最大计算资源至分布式批处理集群，进而获取分布式批处理集群生成的批处理计算任务；从数据库标识对应的数据库中获取待分析数据，调用分布式批处理框架以基于待分析数据执行批处理计算任务，得到任务执行结果数据；将任务执行结果数据分批次写入数据库。从而降低任务处理难度和任务处理风险，提高任务处理效率。技术研发人员：宋攀受保护的技术使用者：中国建设银行股份有限公司技术研发日：技术公布日：2024/9/9