边缘智能设备的模型评估方法、装置、设备以及存储介质与流程

本申请涉及云计算，尤其涉及一种边缘智能设备的模型评估方法、装置、设备、存储介质以及计算机程序产品。

背景技术：

1、边缘计算相较云计算实现了计算资源和服务的下沉，能够有效降低交互延迟、缓解数据传输带宽压力。

2、而随着物联网等边缘设备及其产生的数据量的爆发式增长，边缘智能设备的快速处理和存储数据的优势愈加凸显，其计算位置总体呈现出从云端向边缘端延伸的趋势，边缘智能设备是一种位于网络边缘且具备人工智能(artificial intelligence，ai)能力的计算设备，通过在设备本地运行ai算法模型，基于“端-边-云”架构协同实现边缘计算的行业智能应用。

3、由于业务需求的不同，边缘智能设备对ai算力的要求以及对ai模型的精度要求也不相同，因而不同的边缘智能设备往往会选择不同厂家以及不同型号的ai芯片，而云端往往会对接多台边缘智能设备，为了保证云端算法模型的精度，在装载有不同ai芯片的边缘设备运行推理前，需要对该些ai芯片进行不同等级的量化，并对量化后的模型进行精度和性能指标的评估，评估数据将作为模型量化调优和ai芯片选型的依据。

4、现有的评估方法，通常是将算法模型针对ai芯片进行量化和转换后，拷贝到对应的边缘设备运行推理并给出评估数据，现有的模型评估方案主要存在以下问题：

5、1.模型评估包括配置、量化、转换、打包、部署、推理等过程，以及数据集加载、数据同步等复杂操作，涉及的操作步骤多且对专业技能要求高，导致模型评估效率较低。

6、2.各类算法模型需要针对不同厂商和型号的ai芯片以及不同的量化等级进行全方位的评估和对比，数据种类多导致管理和报表难度大。

7、由此可见，如何高效地对不同厂商和型号的ai芯片进行模型评估，成为目前亟待解决的问题。

技术实现思路

1、本申请实施例提供一种边缘智能设备的模型评估方法，用以解决现有针对ai芯片的模型评估方法存在的评估效率低的问题。

2、本申请实施例还提供一种边缘智能设备的模型评估装置，用以解决现有针对ai芯片的模型评估方法存在的评估效率低的问题。

3、本申请实施例还提供一种边缘智能设备的模型评估设备，用以解决现有针对ai芯片的模型评估方法存在的评估效率低的问题。

4、本申请实施例还提供一种计算机可读存储介质，用以解决现有针对ai芯片的模型评估方法存在的评估效率低的问题。

5、本申请实施例还提供一种计算机程序产品，用以解决现有针对ai芯片的模型评估方法存在的评估效率低的问题。

6、本申请实施例采用下述技术方案：

7、一种边缘智能设备的模型评估方法，包括：根据获取到的待评估边缘智能设备ai芯片的参数信息，配置任务参数，并根据所述任务参数创建评估任务；对所述ai芯片的源网络模型进行量化处理，得到量化网络模型；将所述量化网络模型分配到所述ai芯片进行推理评估，得到评估数据；确定所述源网络模型对应的原始评估数据，根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估。

8、一种边缘智能设备的模型评估装置，包括：任务配置单元，用于根据获取到的待评估边缘智能设备ai芯片的参数信息，配置任务参数，并根据所述任务参数创建评估任务；量化单元，用于对所述ai芯片的源网络模型进行量化处理，得到量化网络模型；推理单元，用于将所述量化网络模型分配到所述ai芯片进行推理评估，得到评估数据；评估单元，用于确定所述源网络模型对应的原始评估数据，根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估。

9、一种边缘智能设备的模型评估设备，包括：

10、处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：根据获取到的待评估边缘智能设备ai芯片的参数信息，配置任务参数，并根据所述任务参数创建评估任务；对所述ai芯片的源网络模型进行量化处理，得到量化网络模型；将所述量化网络模型分配到所述ai芯片进行推理评估，得到评估数据；确定所述源网络模型对应的原始评估数据，根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估。

11、一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：根据获取到的待评估边缘智能设备ai芯片的参数信息，配置任务参数，并根据所述任务参数创建评估任务；对所述ai芯片的源网络模型进行量化处理，得到量化网络模型；将所述量化网络模型分配到所述ai芯片进行推理评估，得到评估数据；确定所述源网络模型对应的原始评估数据，根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估。

12、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现：根据获取到的待评估边缘智能设备ai芯片的参数信息，配置任务参数，并根据所述任务参数创建评估任务；对所述ai芯片的源网络模型进行量化处理，得到量化网络模型；将所述量化网络模型分配到所述ai芯片进行推理评估，得到评估数据；确定所述源网络模型对应的原始评估数据，根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估。

13、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

14、采用本申请实施例提供的边缘智能设备的模型评估方法，针对待评估边缘智能设备，根据获取到的待评估边缘智能设备ai芯片的参数信息，配置任务参数，并根据所述任务参数创建评估任务；对所述ai芯片的源网络模型进行量化处理，得到量化网络模型；将所述量化网络模型分配到所述ai芯片进行推理评估，得到评估数据；确定所述源网络模型对应的原始评估数据，根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估，从而实现了边缘智能设备评估的全流程自动化，极大地降低了边缘智能设备ai芯片模型评估的操作难度。

技术特征：

1.一种边缘智能设备评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据获取到的待评估边缘智能设备ai芯片的参数信息，配置任务参数，具体包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述ai芯片的源网络模型进行量化处理，得到量化网络模型，具体包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述量化网络模型分配到所述ai芯片进行推理评估，具体包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估，具体包括：

6.一种边缘智能设备评估装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，任务配置单元，具体用于：

8.根据权利要求6所述的装置，其特征在于，量化单元，具体用于：

9.一种边缘智能设备评估设备，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如权利要求1-5任一权项所述的边缘智能设备评估方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现如权利要求1-5任一权项所述的边缘智能设备评估方法。

技术总结本申请公开了一种边缘智能设备的模型评估方法，用以解决现有针对AI芯片的模型评估方法存在的评估效率低的问题。方法包括：根据获取到的待评估边缘智能设备AI芯片的参数信息，配置任务参数，并根据所述任务参数创建评估任务；对所述AI芯片的源网络模型进行量化处理，得到量化网络模型；将所述量化网络模型分配到所述AI芯片进行推理评估，得到评估数据；确定所述源网络模型对应的原始评估数据，根据所述评估数据以及所述原始评估数据，对所述待评估边缘智能设备进行性能评估。技术研发人员：冉沛,潘三明,闫亚旗,张阔,刘文睿,董玉池,张文龙受保护的技术使用者：中国铁塔股份有限公司技术研发日：技术公布日：2024/9/2