一种机器学习平台中任务节点间的数据传递的处理方法与流程

技术特征：
1.一种机器学习平台中任务节点间的数据传递的处理方法，其特征是，包括以下步骤：设置一任务调度系统，所述任务调度系统：拉取任务队列中的任务，解析所述任务的任务规则；根据所述任务规则生成调度流水线；根据所述调度流水线发送调起指令；根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据；所述可执行的任务节点接受到所述数据后执行处理，并将所述处理后的产生的数据返还至所述任务调度系统中，此时，所述可执行的任务节点执行完成；接受所述可执行的任务节点执行完成的反馈，重复调起其他未完成的任务节点，直至所述调度流水线中的所有任务节点全部执行完毕；将所述任务结果放入至结果队列中。2.根据权利要求1所述的一种机器学习平台中任务节点间的数据传递的处理方法，其特征是：根据所述任务规则生成调度流水线，具体包括：确定所有任务节点产生数据的第二储存位置。3.根据权利要求2所述的一种机器学习平台中任务节点间的数据传递的处理方法，其特征是：根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：发送调起指令，调起可执行的任务节点，发送所述可执行的任务节点所需第一处理数据的第一储存位置数据以及所述可执行的任务节点产生第二处理数据的第二储存位置数据；所述可执行的任务节点接收到调起指令后，从所述第一储存位置拉取第一处理数据进行处理，并将处理后产生的第二处理数据储存到所述第二储存位置。4.根据权利要求1所述的一种机器学习平台中任务节点间的数据传递的处理方法，其特征是：所述根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：发送调起指令，调起可执行的任务节点，从第一储存位置获取第一处理数据发送至所述可执行的任务节点；获取所述可执行的任务节点产生第二处理数据的第二储存位置数据，将所述第二储存位置数据返还至所述任务调度系统中。5.根据权利要求1所述的一种机器学习平台中任务节点间的数据传递的处理方法，其特征是：所述根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据，具体包括：一次调起可并发执行的多个任务节点。6.根据权利要求1所述的一种机器学习平台中任务节点间的数据传递的处理方法，其特征是：所述所述可执行的任务节点接受到所述数据后执行处理，具体包括：判断所述多个任务节点的执行能力选择执行方式；所述执行方式包括：进行数据拉取；将所述任务节点推送到数据储存位置。7.根据权利要求1所述的一种机器学习平台中任务节点间的数据传递的处理方法，其
特征是：所述根据所述任务规则生成调度流水线，具体包括：在所述调度流水线中定义数据的类型；将所述任务节点向数据靠拢。

技术总结
本发明实施例公开了一种机器学习平台中任务节点间的数据传递的处理方法，设置一任务调度系统，所述任务调度系统：拉取任务队列中的任务，解析所述任务的任务规则；根据所述任务规则生成调度流水线；根据所述调度流水线发送调起指令；根据所述调起指令，调起可执行的任务节点，并向所述可执行的任务节点发送数据；所述可执行的任务节点接受到所述数据后执行处理，并将所述处理后的产生的数据返还至所述任务调度系统中，此时，所述可执行的任务节点执行完成；接受所述可执行的任务节点执行完成的反馈，重复调起其他未完成的任务节点，直至所述调度流水线中的所有任务节点全部执行完毕；将所述任务结果放入至结果队列中。将所述任务结果放入至结果队列中。将所述任务结果放入至结果队列中。


技术研发人员：田立民 唐守旭 苏世前 韩科森 涂若欣 杨青相 张磊
受保护的技术使用者：上海蓝书信息科技有限公司
技术研发日：2022.05.24
技术公布日：2022/8/12