一种任务调度方法、系统及计算设备与流程

本发明涉及服务集群领域，特别涉及一种任务调度方法、系统及计算设备。

背景技术：

1、目前提供服务的大数据平台通常分为离线平台和实时平台两种，离线平台起源较早，是以mapreduce和spark批处理作业框架为代表的技术，数据时效通常为t+1，实时平台是近年发展起来的以flink、spark streaming技术为代表的技术，这种技术相对于离线技术而言数据时效性比较高，通常能达到分钟级别。

2、离线平台可用于处理离线任务，实时平台可用于处理实时任务。离线任务所需要的时效性通常为t+1，实时任务的时效性可达到分钟级别。离线任务与实时任务的任务类型不用，且时效性低于实时任务。离线任务和实时任务的任务特性也不相同，一种情况是在日间需要处理的离线任务的数量较低，而实时任务的数量较高；相反在夜间需要处理的离线任务的数量较高，而实时任务的数量较低。因此需要采用不同平台，即分别使用离线平台和实时平台处理离线任务和实时任务。

3、实时平台还是离线平台均包括多个任务节点，每个任务节点都适于接收并处理任务。但对实时平台和离线平台中的任务节点进行管理时，往往需要对实时平台和离线平台分别构建集群管理服务，提高了维护成本和机器成本。并且由于离线任务和实时任务的特性不同，在不同时间段离线平台和实时平台的任务处理压力不均衡，使得整个数据平台的计算资源不能得到充分的利用。

4、为此，需要一种新的任务调度方法。

技术实现思路

1、为此，本发明提供一种任务调度方法，以力图解决或者至少缓解上面存在的问题。

2、根据本发明的第一方面，提供一种任务调度方法，适于在服务器中运行，服务器与一个或多个任务节点通信连接，方法包括：设置一个或多个任务节点中每个任务节点的类型，任务节点的类型包括第一类型和第二类型，并将第一类型任务节点划分为包括第一数目和第二数目的第一类型任务节点，第一类型任务节点适于处理实时任务，第二类型任务节点适于处理离线任务；响应于到达预设的时间段调度规则所规定的第一调度时间，将第一数目的第一类型任务节点设置为处理离线任务；根据第一数目的第一类型任务节点和第二类型任务节点处理离线任务，根据第二数目的第一类型任务节点处理实时任务。

3、可选地，在根据本发明的方法中，还包括：响应于到达预设时间段调度规则所规定的第二调度时间，将第一数目的第一类型任务节点设置为处理实时任务；根据第一数目和第二数目的第一类型任务节点处理实时任务，根据第二类型任务节点处理离线任务。

4、可选地，在根据本发明的方法中，设置时间段调度规则包括：设置每日时间内包括的一个或多个调度时间段，每个调度时间段的开始时间作为第一调度时间，结束时间作为第二调度时间；设置在第一调度时间调度第一数目的第一类型任务节点处理离线任务，在第二调度时间调度第一数目的第一类型任务节点处理实时任务。

5、可选地，在根据本发明的方法中，方法还包括：确定处理实时任务所需第一类型任务节点的最小数目；根据最小数目设置任务量控制规则，任务量控制规则包括设置第二数目大于或等于最小数目；根据任务量控制规则将第一类型任务节点划分为包括第一数目和第二数目的第一类型任务节点。

6、可选地，在根据本发明的方法中，根据第一数目的第一类型任务节点和第二类型任务节点处理离线任务包括：根据队列绑定规则将一个或多个离线任务提交到实时队列和离线队列；将提交到实时队列中的离线任务分配到第一数目的第一类型任务节点执行；将提交到离线队列中的离线任务分配到第二类型任务节点执行。

7、可选地，在根据本发明的方法中，根据第二数目的第一类型任务节点处理实时任务包括：根据队列绑定规则将实时任务提交到实时队列；将提交到实时队列中的实时任务分配到第二数目的第一类型任务节点执行。

8、可选地，在根据本发明的方法中，还包括：设置队列绑定规则，队列绑定规则包括：在调度时间段内，将离线任务提交到实时队列和离线队列，将实时任务提交到实时队列；在不属于调度时间段内时，将离线任务提交到离线队列，将实时任务提交到实时队列。

9、可选地，在根据本发明的方法中，根据第一数目的第一类型任务节点和第二类型任务节点处理离线任务包括：将实时队列中的离线任务分配到第一数目的第一类型任务节点执行，将离线队列中的离线任务分配到第二类型任务节点执行。

10、根据本发明的第二方面，提供了一种任务调度系统，任务调度系统包括服务器和与服务器通信连接的一个或多个任务节点，服务器适于设置一个或多个任务节点中每个任务节点的类型，任务节点的类型包括第一类型和第二类型，并将第一类型任务节点划分为包括第一数目和第二数目的第一类型任务节点，第一类型任务节点适于处理实时任务，第二类型任务节点适于处理离线任务；响应于到达预设的时间段调度规则所规定的第一调度时间，将第一数目的第一类型任务节点设置为处理离线任务；第一数目的第一类型任务节点和第二类型任务节点适于处理离线任务，第二数目的第一类型任务节点适于处理实时任务。

11、根据本发明的第三方面，提供了一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中，一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本发明的任务调度方法的指令。

12、根据本发明的第四方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，该指令当由计算设备执行时，使得计算设备执行根据本发明的任务调度方法。

13、根据本发明的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，其中，所述计算机程序/指令被处理器执行时实现本发明的静态库确定方法。

14、本发明中的任务调度方法，适于在服务器中执行，服务器与一个或多个任务节点通信连接，方法包括：设置一个或多个任务节点中每个任务节点的类型，任务节点的类型包括第一类型和第二类型，并将第一类型任务节点划分为包括第一数目和第二数目的第一类型任务节点，第一类型任务节点适于处理实时任务，第二类型任务节点适于处理离线任务；响应于到达预设的时间段调度规则所规定的第一调度时间，将第一数目的第一类型任务节点设置为处理离线任务；根据第一数目的第一类型任务节点和第二类型任务节点处理离线任务，根据第二数目的第一类型任务节点处理实时任务。本发明对处理实时任务的第一类型任务节点和处理离线任务的第二类型任务节点统一使用一个服务器进行调度，降低了对任务节点的管理成本；并且在时间段调度规则规定的第一调度时间对任务节点进行调度，设置第一数目的第一类型任务节点处理离线任务，充分的利用整个数据平台的计算资源，均衡离线平台和实时平台的任务处理压力，提高任务处理效率。

技术特征：

1.一种任务调度方法，适于在服务器中运行，所述服务器与一个或多个任务节点通信连接，所述方法包括：

2.如权利要求1所述的方法，其中，所述方法还包括：

3.如权利要求1或2所述的方法，其中，设置所述时间段调度规则包括：

4.如权利要求1-3中任一项所述的方法，其中，所述方法还包括：

5.如权利要求1所述的方法，其中，所述根据所述第一数目的第一类型任务节点和所述第二类型任务节点处理离线任务包括：

6.如权利要求5所述的方法，其中，所述根据所述第二数目的第一类型任务节点处理实时任务包括：

7.如权利要求1-6中任一项所述的方法，其中，所述方法还包括：设置所述队列绑定规则，所述队列绑定规则包括：

8.如权利要求7中所述的方法，其中，所述根据所述第一数目的第一类型任务节点和所述第二类型任务节点处理离线任务包括：

9.一种任务调度系统，所述任务调度系统包括服务器和与服务器通信连接的一个或多个任务节点，所述服务器适于设置所述一个或多个任务节点中每个任务节点的类型，所述任务节点的类型包括第一类型和第二类型，并将第一类型任务节点划分为包括第一数目和第二数目的第一类型任务节点，所述第一类型任务节点适于处理实时任务，所述第二类型任务节点适于处理离线任务；

10.一种计算设备，包括：

技术总结本发明涉及服务集群领域，特别涉及一种任务调度方法、系统及计算设备，方法包括：设置一个或多个任务节点中每个任务节点的类型，并将第一类型任务节点划分为包括第一数目和第二数目的第一类型任务节点，第一类型任务节点适于处理实时任务，第二类型任务节点适于处理离线任务；响应于到达预设的时间段调度规则所规定的第一调度时间，将第一数目的第一类型任务节点设置为处理离线任务；根据第一数目的第一类型任务节点和第二类型任务节点处理离线任务，根据第二数目的第一类型任务节点处理实时任务。本发明对处理实时任务的第一类型任务节点和处理离线任务的第二类型任务节点统一使用一个服务器进行调度，降低了对任务节点的管理成本。技术研发人员：徐明受保护的技术使用者：北京车智慧信息技术有限公司技术研发日：技术公布日：2024/7/29