一种基干开放架构的算法模型运行管控方法及系统与流程

本发明涉及一种算法模型运行管控方法以及基于该方法实现的算法模型运行管控系统。

背景技术：

1、随着人工智能技术的发展，算法模型在各个领域得到了广泛的应用，如图像识别、语音识别、自然语言处理等。为了实现算法模型的快速开发和部署，需要使用一些专门的框架和工具，如tensorflow、pytorch、onnx等。这些框架和工具可以提供一些基础的功能，如模型构建、训练、测试、转换、优化等。

2、然而，现有的框架和工具也存在一些问题和局限性，如：1)不同的框架和工具之间缺乏统一的标准和接口，导致模型在不同平台和环境之间的移植和兼容性较差；2)现有的框架和工具往往只关注模型本身的功能和性能，而忽略了模型运行过程中的管控和监控，导致模型运行时可能出现异常、错误或攻击等风险；3)现有的框架和工具往往缺乏灵活性和可扩展性，难以满足不同用户和场景的个性化需求和定制化开发。

技术实现思路

1、本发明要解决的技术问题是：现有的框架和工具存在一些问题和局限性。

2、为了解决上述问题，本发明的技术方案是提供了一种基于开放框架的算法模型运行管控方法，其特征在于，包括以下步骤：

3、步骤1、将算法模型转换为开放框架的格式，并进行优化和压缩，以适应不同的平台和环境；

4、步骤2、将转换后的算法模型打包封装为sdk或者service，根据部署场景的不同，选择合适的硬件设备和软件环境，根据目标平台和环境的特征，对算法模型进行优化和部署；

5、步骤3、在算法模型运行过程中：

6、通过标准化接口开放设备的各项基础能力，并通过容器技术对设备的计算资源进行有效的隔离和管理；

7、通过高效调用接口和图像加速算子，实现算法模型的高性能推理能力；

8、通过运行管控系统对算法模型进行监控、异常处理和安全保障，通过实时监控、异常处理和安全保障机制，保证算法模型运行的稳定性和安全性；

9、根据算法模型运行过程中的反馈信息，通过运行管控系统对算法模型进行配置、调整和优化，通过灵活配置、动态调整和自适应优化机制，实现算法模型运行过程中的参数调节、性能优化和效果评估。

10、优选地，步骤1中，所述开放框架为pytorch或者tensorflow。

11、优选地，步骤3中，所述基础能力包括图像处理、编解码、存储、传输。

12、本发明的另一个技术方案是提供了一种基于开放框架的算法模型运行管控系统，用于实现上述的算法模型运行管控方法，包括：

13、转换模块，用于将算法模型转换为开放框架的格式，并进行优化和压缩；

14、优化模块，用于将转换后的算法模型打包封装为sdk或者service后，根据目标平台和环境的特征，对算法模型进行优化并将算法模型部署在选择合适的硬件设备和软件环境下；

15、监控模块，用于在算法模型运行过程中，对算法模型进行监控、异常处理和安全保障；

16、配置模块，用于根据算法模型运行过程中的反馈信息，对算法模型进行配置、调整和优化。

17、与现有技术相比，本发明：能够实现算法模型在不同平台和环境之间的高效转换、优化和部署；能够实现算法模型运行过程中的实时监控、异常处理和安全保障；能够实现算法模型运行过程中的灵活配置、动态调整和自适应优化。具体而言，本发明相比于现有技术方案具有如下有益效果：

18、1)通过使用开放框架，如pytorch或者tensorflow等，实现算法模型在不同平台和环境之间的高效转换、优化和部署，提高了算法模型的通用性和兼容性，降低了开发和维护的成本和难度；

19、2)通过使用运行管控方法及系统，实现算法模型运行过程中的实时监控、异常处理和安全保障，提高了算法模型的稳定性和可靠性，防止了算法模型出现错误或被攻击的风险；

20、3)通过使用运行管控方法及系统，实现算法模型运行过程中的灵活配置、动态调整和自适应优化，提高了算法模型的灵活性和适应性，满足了不同用户和场景的个性化需求和定制化开发。

技术特征：

1.一种基于开放框架的算法模型运行管控方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于开放框架的算法模型运行管控方法，其特征在于，步骤1中，所述开放框架为pytorch或者tensorflow。

3.如权利要求1所述的一种基于开放框架的算法模型运行管控方法，其特征在于，步骤3中，所述基础能力包括图像处理、编解码、存储、传输。

4.一种基于开放框架的算法模型运行管控系统，用于实现如权利要求1所述的算法模型运行管控方法，包括：

技术总结本发明涉及一种基于开放框架的算法模型运行管控方法，其特征在于，包括以下步骤：将算法模型转换为开放框架的格式；对算法模型进行优化和部署；在算法模型运行过程中：通过标准化接口开放设备的各项基础能力；实现算法模型的高性能推理能力；对算法模型进行监控、异常处理和安全保障；通过运行管控系统对算法模型进行配置、调整和优化。本发明的另一个技术方案是提供了一种基于开放框架的算法模型运行管控系统。与现有技术相比，本发明：能够实现算法模型在不同平台和环境之间的高效转换、优化和部署；能够实现算法模型运行过程中的实时监控、异常处理和安全保障；能够实现算法模型运行过程中的灵活配置、动态调整和自适应优化。技术研发人员：杨海燕,潘铮,尚明曦,王本豪,宋建生,陈聪,周磊受保护的技术使用者：健康云（上海）数字科技有限公司技术研发日：技术公布日：2024/9/2