任务运行时长预测模型训练方法、装置、计算机设备、可读存储介质和程序产品与流程

本技术涉及数据处理，可用于金融科技领域或其他相关领域，特别是涉及一种任务运行时长预测模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着运维服务和金融行业业务特点的需求发展，越来越多的金融系统需要进行批处理任务。金融系统的批处理任务具有周期性和趋势等特征，在某些时间段内需要处理大量的数据或交易，如每个工作日或每月一次的批处理任务的数据处理。因为批处理任务的数据量较大，所以需要提前对批处理任务的运行时长进行预测，以对批处理任务进行合理的资源分配。

2、目前，金融系统的批处理任务含大量数据，具有数据特征较多、数据离散性强等特点，所以将原始的复杂数据直接用于训练预测模型，导致得到的预测模型的预测精度低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高模型预测精度的任务运行时长预测模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种任务运行时长预测模型训练方法，包括：

3、获取多个历史任务的任务特征数据，以及各所述历史任务对应的实际运行时长；

4、对所述任务特征数据进行聚类处理，获取各所述历史任务对应的任务类别，利用所述任务类别以及目标任务特征数据，构造各所述历史任务对应的训练特征数据；所述目标任务特征数据为所述历史任务的任务特征数据中与时间特征存在关联关系的任务特征数据；

5、将所述训练特征数据输入待训练的任务运行时长预测模型，通过所述任务运行时长预测模型提取各所述训练特征数据对应的时间特征数据，并利用所述时间特征数据，得到各所述历史任务的预测运行时长；

6、根据各所述历史任务的预测运行时长与实际运行时长之间的差异，训练所述任务运行时长预测模型。

7、在其中一个实施例中，所述对所述任务特征数据进行聚类处理，获取各所述历史任务对应的任务类别，包括：

8、对各所述历史任务的任务特征数据进行归一化处理，并获取与所述归一化处理后的任务特征数据匹配的聚类类别数量；

9、按照所述聚类类别数量，对所述归一化处理后的任务特征数据进行聚类处理，得到各所述历史任务对应的任务类别。

10、在其中一个实施例中，预设类别数量集合包括至少一个预设类别数量；所述获取与所述归一化处理后的任务特征数据匹配的聚类类别数量，包括：

11、基于所述预设类别数量，对所述归一化后的任务特征数据进行聚类处理，得到与所述预设类别数量对应的任务特征数据聚类结果；

12、获取预设类别数量集合中各所述预设类别数量对应的任务特征数据聚类结果，并根据所述任务特征数据聚类结果中各类别对应的类别数据中心，得到各类别中的任务特征数据与所述类别对应的类别数据中心的距离，根据所述距离确定所述预设类别数量对应的聚类质量参数；

13、根据各所述预设类别数量及对应的聚类质量参数生成聚类质量曲线，并将所述聚类质量曲线中拐点所对应的预设类别数量确定为与所述归一化处理后的任务特征数据匹配的聚类类别数量。

14、在其中一个实施例中，所述基于所述预设类别数量，对所述归一化后的任务特征数据进行聚类处理，得到与所述预设类别数量对应的任务特征数据聚类结果，包括：

15、从所述归一化处理后的任务特征数据中随机获取与所述预设类别数量相匹配的任务特征数据，并将随机获取到的任务特征数据对应确定为与所述预设类别数量相匹配的初始类别数据中心；

16、获取所述任务特征数据与各所述类别数据中心的距离，将最小距离的类别数据中心对应的类别确定为第一目标类别，并将所述任务特征数据划分至所述第一目标类别；

17、将各所述任务特征数据通过距离划分类别后，对各类别中的任务特征数据进行平均值处理，基于得到的平均值更新所述类别对应的类别数据中心；

18、将所述更新后的类别数据中心作为新的初始类别数据中心，返回执行获取所述任务特征数据与各所述类别数据中心的距离以将各所述任务特征数据通过距离划分类别的步骤，直至得到的划分类别结果满足预设的迭代条件，将所述划分类别结果作为与所述预设类别数量对应的任务特征数据聚类结果。

19、在其中一个实施例中，所述通过所述任务运行时长预测模型提取各所述训练特征数据对应的时间特征数据，包括：

20、通过所述任务运行时长预测模型提取所述训练特征数据中的时间序列以及各相邻所述时间序列对应的隐藏状态向量，将所述时间序列以及所述隐藏状态向量确定为各所述训练特征数据对应的时间特征数据。

21、在其中一个实施例中，所述利用所述时间特征数据，得到各所述历史任务的预测运行时长，包括：

22、对所述隐藏状态向量进行卷积处理，得到时间模式矩阵；

23、将所述时间模式矩阵进行注意力机制加权处理，得到加权时间模式矩阵；

24、将所述隐藏状态向量以及所述加权时间模式矩阵进行线性加权求和，得到各所述历史任务的预测运行时长。

25、在其中一个实施例中，所述通过所述任务运行时长预测模型提取所述训练特征数据中的时间序列以及各相邻所述时间序列对应的隐藏状态向量，包括：

26、通过所述任务运行时长预测模型提取所述训练特征数据中的时间序列，按照预设概率对所述时间序列中的数据进行丢弃处理，更新所述时间序列，并基于更新后的时间序列获取各相邻所述时间序列对应的隐藏状态向量。

27、第二方面，本技术还提供了一种任务运行时长预测方法，包括：获取待预测任务运行时长的目标任务；

28、将所述目标任务输入到预先训练的任务运行时长预测模型中，得到所述目标任务对应的预测运行时长，所述任务运行时长预测模型是通过如第一方面所述的任务运行时长预测模型训练方法训练得到。

29、第三方面，本技术还提供了一种任务运行时长预测模型训练装置，包括：

30、数据获取模块，用于获取多个历史任务的任务特征数据，以及各所述历史任务对应的实际运行时长；

31、数据聚类模块，用于对所述任务特征数据进行聚类处理，获取各所述历史任务对应的任务类别，利用所述任务类别以及目标任务特征数据，构造各所述历史任务对应的训练特征数据；所述目标任务特征数据为所述历史任务的任务特征数据中与时间特征存在关联关系的任务特征数据；

32、特征提取模块，用于将所述训练特征数据输入待训练的任务运行时长预测模型，通过所述任务运行时长预测模型提取各所述训练特征数据对应的时间特征数据，并利用所述时间特征数据，得到各所述历史任务的预测运行时长；

33、模型训练模块，用于根据各所述历史任务的预测运行时长与实际运行时长之间的差异，训练所述任务运行时长预测模型。

34、第四方面，本技术还提供了一种任务运行时长预测装置，包括：

35、任务获取模块，用于获取待预测任务运行时长的目标任务；

36、时长预测模块，用于将所述目标任务输入到预先训练的任务运行时长预测模型中，得到所述目标任务对应的预测运行时长，所述任务运行时长预测模型是通过如第一方面所述的任务运行时长预测模型训练方法训练得到。

37、第五方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面或第二方面中所述的方法的步骤。

38、第六方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面中所述的方法的步骤。

39、第七方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第二方面中所述的方法的步骤。

40、上述任务运行时长预测模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过获取多个历史任务的任务特征数据，以及对应的实际运行时长，将任务特征数据进行聚类处理，得到各历史任务对应任务类别，再利用任务类别以及与时间特征相关联的任务特征数据，构造各历史任务对应的训练特征数据，将训练特征数据输入待训练的任务运行时长预测模型，提取训练特征数据对应的时间特征数据，接着利用时间特征数据得到历史任务的预测运行时长，然后根据实际运行时长与预测运行时长的差异，训练任务运行时长预测模型。本技术通过对任务特征数据进行聚类处理，并利用聚类得到的任务类别和时间特征相关的任务特征数据去构造训练特征数据，进一步训练模型，通过任务类别和时间特征数据重构训练特征数据，减少了训练数据的离散程度并提高了训练特征数据与时间特征的关联性，基于任务类别特征的训练数据能更准确地反映出任务运行时长与特征之间的非线性关系，以此训练数据训练任务运行时长预测模型可以提高模型的预测精度以及准确度。