模型部署方法、装置、电子设备和计算机可读介质与流程

本公开的实施例涉及计算机，具体涉及模型部署方法、装置、电子设备和计算机可读介质。

背景技术：

1、模型部署是将训练完毕的机器学习模型部署至执行节点上的一种技术。目前，在进行模型部署时，通常采用的方式为：将机器学习模型进行封装，并部署在服务器端以达到模型部署的目的。

2、然而，当采用上述方式时，经常会存在如下技术问题：

3、第一，随着模型复杂度增加以及模型参数量增加，仅采用服务器作为模型部署的载体的方式，随着访问量的增加，会增加服务器端的运行压力，同时无法有效利用边缘端的计算资源；

4、第二，由于边缘端的计算资源有限，若将全量模型部署在边缘端，会超出边缘的数据处理能力，从而影响模型的正常运行。

5、第三，直接封装的方式缺乏有效的模型数据保护，导致模型数据的泄露风险较高。

6、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了模型部署方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种模型部署方法，该方法包括：获取目标模型文件，其中，上述目标模型文件是待进行模型部署的机器学习模型对应的模型描述文件；根据上述目标模型文件，生成初始计算图，其中，上述初始计算图为有向图，上述初始计算图包括：算子节点集合和关系边集合，关系边用于描述算子节点之间的依赖关系和张量状态；根据待部署节点的节点配置信息集合，确定模型部署类型；根据上述模型部署类型和算子节点对应的算子描述信息，对上述初始计算图进行图优化，以生成优化后计算图；对上述优化后计算图进行计算图混淆，以生成混淆后计算图；根据上述混淆后计算图，生成待部署模型文件；根据上述节点配置信息集合和上述模型部署类型，生成部署策略信息；根据上述部署策略信息，将上述待部署模型文件部署在上述待部署节点。

4、第二方面，本公开的一些实施例提供了一种模型部署装置，装置包括：获取单元，被配置成获取目标模型文件，其中，上述目标模型文件是待进行模型部署的机器学习模型对应的模型描述文件；第一生成单元，被配置成根据上述目标模型文件，生成初始计算图，其中，上述初始计算图为有向图，上述初始计算图包括：算子节点集合和关系边集合，关系边用于描述算子节点之间的依赖关系和张量状态；确定单元，被配置成根据待部署节点的节点配置信息集合，确定模型部署类型；图优化单元，被配置成根据上述模型部署类型和算子节点对应的算子描述信息，对上述初始计算图进行图优化，以生成优化后计算图；计算图混淆单元，被配置成对上述优化后计算图进行计算图混淆，以生成混淆后计算图；第二生成单元，被配置成根据上述混淆后计算图，生成待部署模型文件；第三生成单元，被配置成根据上述节点配置信息集合和上述模型部署类型，生成部署策略信息；部署单元，被配置成根据上述部署策略信息，将上述待部署模型文件部署在上述待部署节点。

5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的模型部署方法，实现了计算资源的高效利用。实践中，随着模型复杂度增加以及模型参数量增加，仅采用服务器作为模型部署的载体的方式，随着访问量的增加，会增加服务器端的运行压力，同时无法有效利用边缘端的计算资源。基于此，本公开的一些实施例的模型部署方法，首先，获取目标模型文件，其中，上述目标模型文件是待进行模型部署的机器学习模型对应的模型描述文件。以此得到针对待部署的机器学习模型的模型描述。其次，根据上述目标模型文件，生成初始计算图，其中，上述初始计算图为有向图，上述初始计算图包括：算子节点集合和关系边集合，关系边用于描述算子节点之间的依赖关系和张量状态。通过生成计算图可以以图的形式动态描述算子节点之间的依赖关系。接着，根据待部署节点的节点配置信息集合，确定模型部署类型。通过结合待部署节点的节点配置，动态确定与待部署节点的节点配置相匹配的部署方式。进一步，根据上述模型部署类型和算子节点对应的算子描述信息，对上述初始计算图进行图优化，以生成优化后计算图。通过图优化以精简模型结构，提高模型在低计算资源的节点的部署能力。此外，对上述优化后计算图进行计算图混淆，以生成混淆后计算图。通过图混淆避免模型结构的泄露。除此之外，根据上述混淆后计算图，生成待部署模型文件。接着，根据上述节点配置信息集合和上述模型部署类型，生成部署策略信息。以此生成与节点配置匹配的部署策略，以保证模型的部署成功，以及节点的计算资源的高效利用。最后，根据上述部署策略信息，将上述待部署模型文件部署在上述待部署节点。通过此种方式，完善了模型在不同节点的模型部署方式，高效利用了不同节点的计算资源。

技术特征：

1.一种模型部署方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述节点配置信息集合和所述模型部署类型，生成部署策略信息，包括：

3.根据权利要求2所述的方法，其中，所述根据所述部署策略信息，将所述待部署模型文件部署在所述待部署节点，包括：

4.根据权利要求3所述的方法，其中，所述目标模型文件包括：模型定义文件；以及

5.根据权利要求4所述的方法，其中，所述节点配置信息集合中的节点配置信息包括：节点资源需求信息和节点类型，节点类型包括：边缘端虚拟节点类型和非边缘端虚拟节点类型；以及

6.一种模型部署装置，包括：

7.一种电子设备，包括：

8.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的方法。

技术总结本公开的实施例公开了模型部署方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取目标模型文件；根据目标模型文件，生成初始计算图；根据待部署节点的节点配置信息集合，确定模型部署类型；根据模型部署类型和算子节点对应的算子描述信息，对初始计算图进行图优化，以生成优化后计算图；对优化后计算图进行计算图混淆，以生成混淆后计算图；根据混淆后计算图，生成待部署模型文件；根据节点配置信息集合和模型部署类型，生成部署策略信息；根据部署策略信息，将待部署模型文件部署在待部署节点。该实施方式完善了模型在不同节点的模型部署方式，高效利用了不同节点的计算资源。技术研发人员：路圣汉,王云峰,张芯铭受保护的技术使用者：北京汉勃科技有限公司技术研发日：技术公布日：2024/7/29