自动模型载入和基于搜索的优化的制作方法

背景技术：

1、机器学习模型可用于各种应用。例如，模型可以利用深度学习技术来处理大量数据并导出对数据的各种洞察。例如，基于所导出的洞察，可以采取各种动作，诸如准许对资源的访问或标识数据以进行进一步处理。

2、在许多实例中，在将模型实施到具有实时数据的环境中之前，可以在训练平台上训练模型以创建模型并使用训练数据和验证数据测试模型的各个方面。例如，在训练平台中实施的模型可以处理训练数据以导出在处理训练数据时模型的准确度。此外，可以在训练平台处修改模型以提高处理训练数据的准确度。在具有实时数据的环境处实施模型之前，测试模型可以提高模型准确度。

技术实现思路

1、本公开的一个实施方案涉及将优化模型从训练平台载入到推理平台。推理平台可以从训练平台的模块获得载入请求以将模型从训练平台迁移到推理平台。可以在训练平台执行验证过程之后获得载入请求。训练平台可以使用一个或多个训练数据集来促进模型的训练，并且推理平台可以实施模型以处理获得的数据。

2、推理平台可以下载包括模型的应用包。此外，可以对用于模型的设置集合中的每个设置执行优化过程以通过标识优化模型的数据处理性能的设置集合的组合来优化模型的数据处理性能。优化过程可以包括基于用于每个配置选项的模拟数据处理结果为每个设置迭代地选择配置选项。该模型可以在推理平台处用设置集合的所标识的组合来实施。

3、下面详细描述本公开的这些和其他实施方案。例如，其它实施方案涉及与本文所描述的方法相关联的系统、设备和计算机可读介质。

4、可参考以下详细描述和附图来更好地理解本公开的实施方案的性质和优势。

5、参考本说明书的其余部分，包括附图和权利要求书，将实现本公开的其它特征和优点。下文关于附图详细描述本公开的其它特征和优点以及本公开的各种实施方案的结构和操作。在附图中，相同的附图标记可以指示相同或功能上相似的元件。

技术特征：

1.一种方法，所述方法包括：

2.如权利要求1所述的方法，其特征在于，用于提供所述响应的所述推理平台的所述硬件性能估计在确定对所述统计上显著数量的访问请求的响应的所述模型中的数据处理等待时间或数据处理吞吐量。

3.如权利要求1所述的方法，还包括：

4.如权利要求1所述的方法，其特征在于，在所述推理平台处实施所述模型还包括：

5.如权利要求4所述的方法，还包括：

6.如权利要求1所述的方法，其特征在于，在所述训练平台处执行所述验证过程包括：

7.如权利要求1所述的方法，其特征在于，所述应用包使用所述训练平台和所述推理平台之间共用的密钥加密，并且其中所述推理平台使用所述密钥来解密所述应用包。

8.如权利要求1所述的方法，其特征在于，所述训练平台将所述模型以及所述应用包的统一资源定位符(url)存储在数据储存库处。

9.如权利要求1所述的方法，其特征在于，执行所述优化过程还包括：

10.如权利要求1所述的方法，其特征在于，执行所述优化过程包括，对于所述设置集合中的每个设置的每个配置值：

11.如权利要求1所述的方法，其特征在于，所述统计上显著数量的访问请求包括提供给所述机器学习模型的阈值数量的访问请求。

12.一种推理平台，所述推理平台包括：

13.如权利要求12所述的推理平台，其特征在于，所述处理器被进一步配置为：

14.如权利要求13所述的推理平台，其特征在于，所述处理器被进一步配置为：

15.如权利要求12所述的推理平台，其特征在于，所述应用包使用所述训练平台和所述推理平台之间共用的密钥加密，并且其中所述推理平台使用所述密钥来解密所述应用包。

16.如权利要求12所述的推理平台，其特征在于，所述处理器被进一步配置为：

17.如权利要求16所述的推理平台，还包括：

18.如权利要求12所述的推理平台，其特征在于，执行所述优化过程还包括：

19.如权利要求12所述的推理平台，其特征在于，执行所述优化过程包括，对于所述设置集合中的每个设置的每个配置值：

20.如权利要求12所述的推理平台，其特征在于，所述训练平台被配置为将所述模型以及所述应用包的统一资源定位符(url)存储在数据储存库处。

技术总结本公开的实施方案涉及将模型从训练平台载入到推理平台，并选择所述模型的参数以优化所述模型的性能。例如，将模型载入到所述推理平台可以基于所述训练平台处和所述推理平台处的模型载入系统之间的一系列交互。优化过程可以包括基于搜索的过程，以导出用于所述模型的最优设置。所述优化过程可以模拟所述模型的特征组合，并且标识所述模型的设置的最优组合以提高模型性能。技术研发人员：何润欣,谷雨,S·罗伊受保护的技术使用者：维萨国际服务协会技术研发日：技术公布日：2024/7/29