资源调度方法、装置、计算机设备和可读存储介质与流程

本技术涉及资源管理，特别是涉及一种资源调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、企业级分布式应用中经常出现异步任务调度作业，即将任务请求按照任务请求的运算复杂度交由若干计算资源进行分布式计算，以提升运算效率。通常采用资源调度方法来为任务请求分配计算资源。

2、目前的资源调度方法，采用多资源管理池的模式来进行资源的调度。具体地，资源池包括第一任务类型资源池和第二任务类型资源池。根据任务请求的任务类型在资源池中确定任务类型对应的目标任务类型资源池，并向资源池申请资源来处理任务请求的数据。

3、然而，目前的资源调度方法，由于第一任务类型的任务请求是不频繁的，会造成第一任务类型资源池中的资源浪费。因此，目前的资源调度方法的资源利用率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种资源调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种资源调度方法，包括：

3、获取各任务请求的属性信息，并基于各所述属性信息获取各所述任务请求的数据分片；所述属性信息中包含所述任务请求的任务类型；

4、确定各所述任务类型的数据分片比例，并根据各所述任务类型和各所述任务类型对应的数据分片比例构建数据分片比例列表；

5、按照资源池的容量、所述数据分片比例列表中排序的各任务类型的数据分片和各所述数据分片比例，为各任务类型的数据分片计算资源申请量；

6、基于所述资源申请量依次向所述资源池申请资源。

7、在其中一个实施例中，所述获取各任务请求的属性信息，并基于各所述属性信息获取各所述任务请求的数据分片，包括：

8、获取各任务请求的属性信息；所述属性信息包含任务请求的任务类型、分片大小和数据位置；

9、按照每一所述任务请求的数据位置获取所述任务请求的数据集；

10、基于所述任务请求的分片大小对所述数据集进行分片处理，得到数据分片。

11、在其中一个实施例中，所述确定各所述任务类型的数据分片比例，并根据各所述任务类型和各所述任务类型对应的数据分片比例构建数据分片比例列表，包括：

12、将全量待处理任务请求的数据分片数量确定为第一数量，并将每一任务类型的数据分片数量确定为第二数量；

13、基于所述第一数量和各所述第二数量，确各所述任务类型的数据分片比例；

14、按照各所述数据分片比例由小到大的顺序对各所述任务类型和各所述任务类型对应的数据分片比例进行排序，得到数据分片比例列表。

15、在其中一个实施例中，所述基于所述资源申请量依次向所述资源池申请资源之前，所述方法还包括：

16、判断资源池对应的任务队列中的剩余容量是否达到预设的第一容量阈值；

17、若所述剩余容量达到所述第一容量阈值，确定所述任务队列达到预设的任务分发条件。

18、在其中一个实施例中，所述基于所述资源申请量依次向资源池申请资源，包括：

19、按照所述数据分片比例列表的顺序，依次确定目标任务类型对应的目标数据分片和目标资源申请量；

20、判断所述目标资源申请量是否大于等于所述任务队列的剩余容量，得到判断结果；

21、根据所述判断结果、所述目标资源申请量和所述剩余容量将目标任务类型的目标数据分片添加到任务队列中，直到所述任务队列中的当前容量达到预设的第二容量阈值；

22、按照所述任务队列中各数据分片的顺序，向所述资源池申请资源；所述资源用于处理所述数据分片。

23、在其中一个实施例中，所述根据所述判断结果、所述目标资源申请量和所述剩余容量将目标任务类型的目标数据分片添加到任务队列中，直到所述任务队列中的当前容量达到预设的第二容量阈值，包括：

24、若所述判断结果为所述目标资源申请量大于等于所述剩余容量，将剩余容量数量的目标数据分片添加到所述任务队列中。

25、在其中一个实施例中，所述根据所述判断结果、所述目标资源申请量和所述剩余容量将目标任务类型的目标数据分片添加到任务队列中，直到所述任务队列中的当前容量达到预设的第二容量阈值，包括：

26、若所述判断结果为所述目标资源申请量小于所述剩余容量，将所述目标资源申请量的数据分片添加到所述任务队列中，并更新所述剩余容量；

27、判断所述任务队列的当前容量是否达到预设的第二容量阈值；

28、若所述当前容量未达到所述第二容量阈值，执行所述按照所述数据分片比例列表的顺序，依次确定目标任务类型对应的目标数据分片和目标资源申请量的步骤，直到所述当前容量达到所述第二容量阈值。

29、第二方面，本技术还提供了一种资源调度装置，包括：

30、获取模块，用于获取各任务请求的属性信息，并基于各所述属性信息获取各所述任务请求的数据分片；所述属性信息中包含所述任务请求的任务类型；

31、确定模块，用于确定各所述任务类型的数据分片比例，并根据各所述任务类型和各所述任务类型对应的数据分片比例构建数据分片比例列表；

32、计算模块，用于按照资源池的容量、所述数据分片比例列表中排序的各任务类型的数据分片和各所述数据分片比例，为各任务类型的数据分片计算资源申请量；

33、申请模块，用于基于所述资源申请量依次向所述资源池申请资源。

34、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

35、获取各任务请求的属性信息，并基于各所述属性信息获取各所述任务请求的数据分片；所述属性信息中包含所述任务请求的任务类型；

36、确定各所述任务类型的数据分片比例，并根据各所述任务类型和各所述任务类型对应的数据分片比例构建数据分片比例列表；

37、按照资源池的容量、所述数据分片比例列表中排序的各任务类型的数据分片和各所述数据分片比例，为各任务类型的数据分片计算资源申请量；

38、基于所述资源申请量依次向所述资源池申请资源。

39、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

40、获取各任务请求的属性信息，并基于各所述属性信息获取各所述任务请求的数据分片；所述属性信息中包含所述任务请求的任务类型；

41、确定各所述任务类型的数据分片比例，并根据各所述任务类型和各所述任务类型对应的数据分片比例构建数据分片比例列表；

42、按照资源池的容量、所述数据分片比例列表中排序的各任务类型的数据分片和各所述数据分片比例，为各任务类型的数据分片计算资源申请量；

43、基于所述资源申请量依次向所述资源池申请资源。

44、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

45、获取各任务请求的属性信息，并基于各所述属性信息获取各所述任务请求的数据分片；所述属性信息中包含所述任务请求的任务类型；

46、确定各所述任务类型的数据分片比例，并根据各所述任务类型和各所述任务类型对应的数据分片比例构建数据分片比例列表；

47、按照资源池的容量、所述数据分片比例列表中排序的各任务类型的数据分片和各所述数据分片比例，为各任务类型的数据分片计算资源申请量；

48、基于所述资源申请量依次向所述资源池申请资源。

49、上述资源调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，获取各任务请求的属性信息，并基于各所述属性信息获取各所述任务请求的数据分片；所述属性信息中包含所述任务请求的任务类型；确定各所述任务类型的数据分片比例，并根据各所述任务类型和各所述任务类型对应的数据分片比例构建数据分片比例列表；按照资源池的容量、所述数据分片比例列表中排序的各任务类型的数据分片和各所述数据分片比例，为各任务类型的数据分片计算资源申请量；基于所述资源申请量依次向所述资源池申请资源。采用本方法，获取各任务请求的数据分片，并确定各任务类型的数据分片比例，得到了不同任务类型的数据分片占比。然后，基于各数据分片比例和各任务类型确定数据分片比例列表，并确定各任务类型的资源申请量，得到每一任务类型需要的资源数量。根据资源申请量向资源池申请资源，使得资源池的资源随时能够获取并处理数据分片，即资源池中的各资源一直处于忙碌状态，提高了资源利用率。