一种机器学习平台中任务节点间的数据传递的处理方法与流程

1.本发明实施例涉及数据传递处理技术领域，具体涉及一种机器学习平台中任务节点间的数据传递的处理方法。


背景技术：

2.随着人工智能的逐渐为人所知，机器学习也日渐成熟。机器学习平台的建设产品也是层出不穷，针对不同领域的，普适化的均存在其相应的市场。机器学习平台中，将训练任务根据流水线进行任务拆解，进行分布式训练是无可避免的事情。现有机器学习平台中，对训练任务的节点间数据传递，多采用单一化的方法，或者节点将数据拉取过来，或者将节点放入数据处进行工作。而在分布式训练中，同一任务不同的节点间进行数据传递，将成为一个必须要处理的问题。


技术实现要素：

3.为此，本发明实施例提供一种机器学习平台中任务节点间的数据传递的处理方法，以解决现有技术中数据节点间传递的不确定性以及节点间数据传递的不灵活的问题。
4.为了实现上述目的，本发明实施例提供如下技术方案：一种机器学习平台中任务节点间的数据传递的处理方法，包括以下步骤：
5.设置一任务调度系统，所述任务调度系统：
6.拉取任务队列中的任务，解析所述任务的任务规则；
7.根据所述任务规则生成调度流水线；
8.根据所述调度流水线发送调起指令；
9.根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据；
10.所述可执行的任务节点接受到所述数据后执行处理，并将所述处理后的产生的数据返还至所述任务调度系统中，此时，所述可执行的任务节点执行完成；
11.接受所述可执行的任务节点执行完成的反馈，重复调起其他未完成的任务节点，直至所述调度流水线中的所有任务节点全部执行完毕；
12.将所述任务结果放入至结果队列中。
13.进一步地，根据所述任务规则生成调度流水线，具体包括：
14.确定所有任务节点产生数据的第二储存位置。
15.进一步地，根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：
16.发送调起指令，调起可执行的任务节点，发送所述可执行的任务节点所需第一处理数据的第一储存位置数据以及所述可执行的任务节点产生第二处理数据的第二储存位置数据；
17.所述可执行的任务节点接收到调起指令后，从所述第一储存位置拉取第一处理数
据进行处理，并将处理后产生的第二处理数据储存到所述第二储存位置。
18.进一步地，所述根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：
19.发送调起指令，调起可执行的任务节点，从第一储存位置获取第一处理数据发送至所述可执行的任务节点；获取所述可执行的任务节点产生第二处理数据的第二储存位置数据，将所述第二储存位置数据返还至所述任务调度系统中。
20.进一步地，所述根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：
21.一次调起可并发执行的多个任务节点。
22.进一步地，所述所述可执行的任务节点接受到所述数据后执行处理，具体包括：
23.判断所述多个任务节点的执行能力选择执行方式；
24.所述执行方式包括：
25.进行数据拉取；
26.将所述任务节点推送到数据储存位置。
27.进一步地，所述根据所述任务规则生成调度流水线，具体包括：
28.在所述调度流水线中定义数据的类型；
29.将所述任务节点向数据靠拢。
30.本发明实施例具有如下优点：在已有机器学习平台系统中，建立一个任务调度服务系统负责记录任务的流程，向任务节点发布任务，协调任务在流水线中正常进行直至结束。数据传递上采用“存储-通知”的懒传递模式，实现了数据并不是由始向终进行传递，而是存储在特定位置，待下一任务节点来进行拉取，省去数据传递的不确定性，同时为下一个任务的执行增加了多重选择，如，是将任务靠近数据去执行，还是将数据拉取下来以使用，再有增加任务节点启动的灵活性，变被动为主动。
附图说明
31.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
32.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
33.图1为本发明实施例提供的一种机器学习平台中任务节点间的数据传递的处理方法的流程图；
34.图2为本发明实施例提供的一种机器学习平台中任务节点间的数据传递的处理方法的调度系统关系示意图。
具体实施方式
35.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.实施例：一种机器学习平台中任务节点间的数据传递的处理方法，如图1和图2所示，具体为设置一任务调度系统，其任务调度系统处理方法为：
37.拉取任务队列中的任务，解析任务的任务规则，首先从任务队列中拉取对应任务，并自动解析该任务的处理规则，在本实施例中，任务的处理规则包含在任务类型中，拉取任务时辨别任务类型，并根据任务类型找到对应的处理规则，也可根于预设任务中包含的任务规则进行处理，或遍历任务流程，根据流程来解析任务规则。
38.根据任务规则生成调度流水线，从上述预设的任务规则中，生成调度流水线，该调度流水线计算该任务所需的数据，并确定各任务节点，此调度流水线确定数据在各任务节点所产生数据的存储位置。
39.根据调起指令，调起可执行的任务节点，并向可执行的任务节点发送数据,这里可一次性调起当前可并发执行的多个任务节点，以增加执行效率，将所需数据存储位置和所产生数据的存储位置作为参数传递给各节点。
40.具体为：发送调起指令，调起可执行的任务节点，发送可执行的任务节点所需第一处理数据的第一储存位置数据以及可执行的任务节点产生第二处理数据的第二储存位置数据；
41.还可以根据调起指令，调起可执行的任务节点，并向可执行的任务节点发送数据，具体包括：
42.发送调起指令，调起可执行的任务节点，从第一储存位置获取第一处理数据发送至可执行的任务节点；获取可执行的任务节点产生第二处理数据的第二储存位置数据，将第二储存位置数据返还至任务调度系统中。
43.可执行的任务节点接收到调起指令后，从第一储存位置拉取第一处理数据进行处理，并将处理后产生的第二处理数据储存到第二储存位置。
44.可执行的任务节点接受到数据后执行处理，并将处理后的产生的数据返还至任务调度系统中，此时，可执行的任务节点执行完成；
45.接受可执行的任务节点执行完成的反馈，重复调起其他未完成的任务节点，直至调度流水线中的所有任务节点全部执行完毕；
46.将任务结果放入至结果队列中。
47.被调起的任务根据自身能力，选择执行方式，或是进行数据拉取以完成工作或者将自身推送到数据存储位置以执行任务；
48.调度系统等待节点执行完成的通知，待有节点完成任务时，将收到完成通知，并接收节点产出数据的存储位置，以生成后续调度参数；
49.调起任务，方式同上；重复执行调取任务，直至调度流水线中的工作全部完成；最后将任务结果放入结果队列中。
50.本发明是在已有机器学习平台系统中，建立一个任务调度服务系统负责记录任务
的流程，向任务节点发布任务，协调任务在流水线中正常进行直至结束。数据传递上采用“存储-通知”的懒传递模式，实现了数据并不是由始向终进行传递，而是存储在特定位置，待下一任务节点来进行拉取，省去数据传递的不确定性，同时为下一个任务的执行增加了多重选择，如，是将任务靠近数据去执行，还是将数据拉取下来以使用，再有增加任务节点启动的灵活性，变被动为主动。
51.虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所作的这些修改或改进，均属于本发明要求保护的范围。