任务调度模型构建方法及装置与流程

本说明书实施例涉及计算机，特别涉及任务调度模型构建方法及装置。

背景技术：

1、随着计算机技术的发展，越来越多的业务开始线上化，在规模较大的业务系统中，通常会存在大量的数据处理任务，而为了保证这些数据处理任务的执行，在设计或者开发阶段，通常会通过构建合适的任务调度拓扑结构的方式，以保证调度系统在运行阶段，能够根据拓扑结构中的任务关系，有序控制任务执行。现有技术中，针对大量数据处理任务构建任务调度拓扑关系时，为了保证任务可以有序执行，通常会采用以任务为节点的方式进行构建，或者按照层级关系构建；但是由于业务的复杂度较高，导致以任务为节点的方式构建出的拓扑结构非常复杂，致使维护成本较高。而按照层级关系构建的拓扑结果虽然可以避免结构复杂问题，但是当任务之间存在较为复杂的依赖关系时，由于层级划分的方式无法全面体现任务彼此之间的依赖关系，导致其与业务场景难以匹配。因此亟需一种有效的方案以解决上述问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种任务调度模型构建方法。本说明书一个或者多个实施例同时涉及一种任务调度模型构建装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种任务调度模型构建方法，应用于调度系统，包括：

3、获取关联数据处理业务的多个数据处理任务，以及每个数据处理任务的模块标注信息；

4、确定所述多个数据处理任务之间的任务依赖关系，并根据所述任务依赖关系和所述多个数据处理任务构建任务节点模型；

5、按照每个数据处理任务的模块标注信息构建数据处理模块；其中，所述数据处理模块包含至少一个数据处理任务；

6、根据所述数据处理模块与每个数据处理任务之间的从属关系，以及所述任务依赖关系构建模块节点模型；

7、利用所述任务节点模型对所述模块节点模型进行更新，获得关联所述数据处理业务的任务调度模型。

8、根据本说明书实施例的第二方面，提供了一种任务调度模型构建装置，应用于调度系统，包括：

9、获取任务模块，被配置为获取关联数据处理业务的多个数据处理任务，以及每个数据处理任务的模块标注信息；

10、确定关系模块，被配置为确定所述多个数据处理任务之间的任务依赖关系，并根据所述任务依赖关系和所述多个数据处理任务构建任务节点模型；

11、构建模块，被配置为按照每个数据处理任务的模块标注信息构建数据处理模块；其中，所述数据处理模块包含至少一个数据处理任务；

12、构建模型模块，被配置为根据所述数据处理模块与每个数据处理任务之间的从属关系，以及所述任务依赖关系构建模块节点模型；

13、更新模型模块，被配置为利用所述任务节点模型对所述模块节点模型进行更新，获得关联所述数据处理业务的任务调度模型。

14、根据本说明书实施例的第三方面，提供了一种计算设备，包括：

15、存储器和处理器；

16、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任务调度模型构建方法的步骤。

17、根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述任务调度模型构建方法的步骤。

18、根据本说明书实施例的第五方面，提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述任务调度模型构建方法的步骤。

19、本实施例提供的任务调度模型构建方法，为了能够通过任务调度模型清楚且简洁的体现任务调度关系，以及降低开发人员的维护成本，可以采用模块-任务的两层任务调度模型体现任务调度关系。具体的，在构建任务调度模型时，可以先获取关联数据处理业务的多个数据处理任务，以及每个数据处理任务的模块标注信息；在此基础上，可以先确定多个数据处理任务之间的任务依赖关系，并根据任务依赖关系和多个数据处理任务构建任务节点模型，实现先通过任务节点模型体现数据处理任务之间的调度关系。在此基础上，为了使得任务调度模型更加简洁且便于维护，可以再按照每个数据处理任务的模块标注信息构建数据处理模块；其中，数据处理模块包含至少一个数据处理任务；由此完成任务到模块的映射，从而降低任务之间依赖关系的复杂度，通过模块进行封装；此后可以根据数据处理模块与每个数据处理任务之间的从属关系，以及任务依赖关系构建模块节点模型；实现在数据处理任务的基础上，通过封装数据处理模块简化任务之间的依赖关系，且并不会改变任务原有的执行顺序，以此保证数据处理业务的正常运行，最后，为了保证任务调度模块简洁且匹配数据处理业务，还可以利用任务节点模型对模块节点模型进行更新，从而可以根据更新结果获得关联数据处理业务的任务调度模型，实现通过任务调度模型可以有序控制任务执行，且维护难度以及成本都可以得到改善。

技术特征：

1.一种任务调度模型构建方法，其特征在于，应用于调度系统，包括：

2.根据权利要求1所述的任务调度模型构建方法，其特征在于，所述多个数据处理任务中任意一个数据处理任务的模块标注信息的确定，包括：

3.根据权利要求1所述的任务调度模型构建方法，其特征在于，所述确定所述多个数据处理任务之间的任务依赖关系，并根据所述任务依赖关系和所述多个数据处理任务构建任务节点模型，包括：

4.根据权利要求3所述的任务调度模型构建方法，其特征在于，所述任务节点集合中任意一个任务节点对应的依赖标识信息的确定，包括：

5.根据权利要求1所述的任务调度模型构建方法，其特征在于，所述根据所述数据处理模块与每个数据处理任务之间的从属关系，以及所述任务依赖关系构建模块节点模型，包括：

6.根据权利要求5所述的任务调度模型构建方法，其特征在于，所述按照预设的模型优化策略对所述初始模块节点模型进行优化，获得模块节点模型，包括：

7.根据权利要求6所述的任务调度模型构建方法，其特征在于，所述在所述成环模块集合中成环模块包含的数据处理任务中筛选拆分数据处理任务，包括：

8.根据权利要求7所述的任务调度模型构建方法，其特征在于，在根据遍历结果检测所述前序数据处理任务序列中是否存在属于所述目标成环模块，且与所述目标数据处理任务存在通路的目标前序数据处理任务的判断结果为否的情况下，还包括：

9.根据权利要求6至8任一项所述的任务调度模型构建方法，其特征在于，所述针对所述拆分数据处理任务构建更新数据处理模块，包括：

10.根据权利要求1至8任一项所述的任务调度模型构建方法，其特征在于，所述利用所述任务节点模型对所述模块节点模型进行更新，获得关联所述数据处理业务的任务调度模型，包括：

11.根据权利要求10所述的任务调度模型构建方法，其特征在于，所述利用所述任务节点模型对所述目标模块节点模型进行更新，获得关联所述数据处理业务的任务调度模型，包括：

12.根据权利要求10所述的任务调度模型构建方法，其特征在于，所述利用所述任务节点模型对所述优化模块节点模型进行更新，获得关联所述数据处理业务的任务调度模型，包括：

13.一种任务调度模型构建装置，其特征在于，应用于调度系统，包括：

14.一种计算设备，其特征在于，包括：

15.一种计算机可读存储介质，其特征在于，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。

16.一种计算机程序产品，其特征在于，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。

技术总结本说明书实施例提供任务调度模型构建方法及装置，其中所述任务调度模型构建方法应用于调度系统，包括：获取关联数据处理业务的多个数据处理任务，以及每个数据处理任务的模块标注信息；确定所述多个数据处理任务之间的任务依赖关系，并根据所述任务依赖关系和所述多个数据处理任务构建任务节点模型；按照每个数据处理任务的模块标注信息构建数据处理模块；其中，所述数据处理模块包含至少一个数据处理任务；根据所述数据处理模块与每个数据处理任务之间的从属关系，以及所述任务依赖关系构建模块节点模型；利用所述任务节点模型对所述模块节点模型进行更新，获得关联所述数据处理业务的任务调度模型。技术研发人员：蔡栩阳,韩超,胡玉柱,张勇受保护的技术使用者：恒生电子股份有限公司技术研发日：技术公布日：2024/7/25