部署模型服务的方法及系统与流程

本发明涉及数据处理领域，具体而言，涉及一种部署模型服务的方法及系统。

背景技术：

1、随着人工智能(ai)技术的飞速发展，部署模型服务已成为许多企业和组织关注的焦点。模型服务的部署旨在将经过训练和优化的机器学习模型有效地集成到生产环境中，以解决各种实际问题并提供实用的解决方案。这个过程涉及到从选择合适的模型到将其部署到适当的硬件或云平台，并确保其在运行时能够稳定地提供服务。

2、其中，服务编排作为部署模型服务的一个关键环节，在近年来受到了广泛的关注和研究。其中，一种主要的服务编排技术是ooize。ooize通过定义xml构建服务流程，提供了一种灵活而强大的方式来管理模型服务的部署流程。在这种技术中，模型服务通常由python脚本调用，通过ooize提供的xml配置文件来定义服务的流程和逻辑。这种方法使得模型服务的部署变得更加简单和可控，同时提高了部署过程的可维护性和灵活性。

3、然而，尽管ooize等服务编排技术在简化模型服务部署方面取得了显著的进展，但在实际应用中仍然存在一些挑战。特别是，由于采用了xml来定义服务流程，对于模型服务的节点参数进行修改十分不便。

技术实现思路

1、本发明实施例提供了一种部署模型服务的方法及系统，以至少解决了相关技术中对于模型服务的节点参数进行修改十分不便的问题。

2、根据本发明的一个实施例，提供了一种部署模型服务的方法，包括：

3、基于模型文件得到模型镜像；

4、基于所述模型镜像，响应于对流程节点的可视化的编辑操作，编排出模型服务；

5、调用seldon core在kubernetes集群中部署所述模型服务。

6、可选地，该方法还包括：

7、基于第一预设参数建立所述流程节点的输入参数、输出参数的可编辑操作，其中，所述输入参数和所述输出参数用于推理所述模型服务；

8、基于所述模型服务的推理状态调节所述输入参数，其中，所述输入参数至少包括以下之一：实例数、cpu、内存。

9、可选地，该方法还包括：

10、基于所述输入参数构建相关类；

11、使用所述kubernetes集群部署所述相关类对应的服务。

12、可选地，基于模型文件得到模型镜像，包括：

13、获取模型文件、环境、相关文件；

14、基于所述模型文件、所述环境、所述相关文件得到所述模型镜像。

15、可选地，该方法还包括：

16、通过java端获取制作镜像的指令，发送镜像打包指令；

17、通过python端基于所述镜像打包指令生成异步任务并处理；

18、通过所述python端获取所述模型文件，生成可运行的源代码文件；

19、基于所述源代码文件，通过source to image工具将所述模型文件、所述环境、所述相关文件打包入基准镜像，以得到所述模型镜像；

20、将所述模型镜像上传制品库。

21、可选地，基于所述模型镜像，响应于对流程节点的可视化的编辑操作，编排出模型服务，包括：

22、基于第二预设参数组建可视化编排界面，其中，所述可视化编辑界面允许拖、拉、拽流程节点的操作；

23、在所述可视化编排界面内为每个所述流程节点提供选项或者参数，以基于所述选项或者所述参数配置所述流程节点；

24、基于第三预设参数提供交互式编辑功能，基于所述交互式编辑功能以修改、调整所述流程节点；

25、基于修改、调整后的所述流程节点编排出所述模型服务。

26、可选地，该方法还包括：

27、基于所述输入参数、输出表信息调用所述模型服务；

28、基于所述输入参数推理所述模型服务，并将推理过程存入所述输出表信息对应的输出表；

29、在识别出所述模型服务推理结束的信号时停止推理所述模型服务。

30、根据本发明的另一个实施例，还提供了一种部署模型服务的系统，包括：

31、镜像制作模块，用于基于模型文件得到模型镜像；

32、编排模块，用于基于所述模型镜像，响应于对流程节点的可视化的编辑操作，编排出模型服务；

33、部署模块，用于调用seldon core在kubernetes集群中部署所述模型服务。

34、可选地，该系统还用于：

35、基于第一预设参数建立所述流程节点的输入参数、输出参数的可编辑操作，其中，所述输入参数和所述输出参数用于推理所述模型服务；

36、基于所述模型服务的推理状态调节所述输入参数，其中，所述输入参数至少包括以下之一：实例数、cpu、内存。

37、可选地，该系统还用于：

38、基于所述输入参数构建相关类；

39、使用所述kubernetes集群部署所述相关类对应的服务。

40、可选地，基于模型文件得到模型镜像，该系统用于：

41、获取模型文件、环境、相关文件；

42、基于所述模型文件、所述环境、所述相关文件得到所述模型镜像。

43、可选地，该系统还用于：

44、通过java端获取制作镜像的指令，发送镜像打包指令；

45、通过python端基于所述镜像打包指令生成异步任务并处理；

46、通过所述python端获取所述模型文件，生成可运行的源代码文件；

47、基于所述源代码文件，通过source to image工具将所述模型文件、所述环境、所述相关文件打包入基准镜像，以得到所述模型镜像；

48、将所述模型镜像上传制品库。

49、可选地，基于所述模型镜像，响应于对流程节点的可视化的编辑操作，编排出模型服务，该系统用于：

50、基于第二预设参数组建可视化编排界面，其中，所述可视化编辑界面允许拖、拉、拽流程节点的操作；

51、在所述可视化编排界面内为每个所述流程节点提供选项或者参数，以基于所述选项或者所述参数配置所述流程节点；

52、基于第三预设参数提供交互式编辑功能，基于所述交互式编辑功能以修改、调整所述流程节点；

53、基于修改、调整后的所述流程节点编排出所述模型服务。

54、可选地，该系统还用于：

55、基于所述输入参数、输出表信息调用所述模型服务；

56、基于所述输入参数推理所述模型服务，并将推理过程存入所述输出表信息对应的输出表；

57、在识别出所述模型服务推理结束的信号时停止推理所述模型服务。

58、根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器运行时执行上述任一项方法实施例中的步骤。

59、根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

60、通过本发明，使用基于模型文件的模型镜像，并响应拖、拉、拽流程节点的编辑操作，解决了对模型服务节点参数进行修改不便的问题，并借助seldon core实现了模型服务在kubernetes集群中的部署。这些技术的结合使得模型服务的部署变得更加简单、灵活和可控。