任务数据处理方法、系统、电子设备和可读存储介质与流程

本技术涉及计算机，特别是涉及一种任务数据处理方法、系统、电子设备和可读存储介质。

背景技术：

1、随着计算机技术的发展，各种智能设备在日常生活中随处可见，智能设备可以通过内置的网络模型进行推理运算，以实现人机交互、环境识别以及自动控制等功能。

2、其中，网络模型的推理引擎是模型推理过程中的重要工具，也是影响智能设备推理性能的因素之一。目前，即使是同一网络模型和同一推理引擎，在不同的设备中的推理性能也会存在较大差异，因此，如何有效提高智能设备的推理性能是目前亟需解决的问题。

技术实现思路

1、有鉴于此，本技术实施例提供一种任务数据处理方法、系统、电子设备和可读存储介质，以提高电子设备的推理性能。

2、第一方面，提供了一种任务数据处理方法，所述方法包括：

3、确定目标任务数据以及所述目标任务数据对应的模型信息。

4、基于所述模型信息、本地硬件信息和本地操作系统信息，在至少一个可用推理引擎中确定所述目标任务数据对应的至少一个候选推理引擎。

5、根据所述目标任务数据对各所述候选推理引擎进行推理测试，从各所述候选推理引擎中确定目标推理引擎。

6、部署所述目标推理引擎。

7、在一些实施例中，所述基于所述模型信息、本地硬件信息和本地操作系统信息，在至少一个可用推理引擎中确定所述目标任务数据对应的至少一个候选推理引擎包括：

8、根据所述模型信息，在至少一个可用推理引擎中确定所述模型信息对应的目标模型集合。

9、根据所述目标模型集合、所述本地硬件信息和所述本地操作系统信息，确定至少一个候选推理引擎。

10、在一些实施例中，所述根据所述目标任务数据对各所述候选推理引擎进行推理测试，从各所述候选推理引擎中确定目标推理引擎包括：

11、针对每个所述候选推理引擎，基于所述目标任务数据对所述候选推理引擎进行试运行，确定所述候选推理引擎对应的评价参数。

12、根据各所述候选推理引擎对应的评价参数，从各所述候选推理引擎中确定目标推理引擎。

13、在一些实施例中，所述评价参数包括推理时间和硬件资源占用比例中的一项或多项。

14、在一些实施例中，所述方法还包括：

15、响应于所述目标推理引擎被部署，且当前硬件资源负载大于预定负载阈值，根据各所述候选推理引擎对应的评价参数，从各所述候选推理引擎中确定替换引擎。

16、将所述目标推理引擎替换为所述替换引擎。

17、在一些实施例中，所述方法还包括：

18、响应于确定目标推理引擎，对所述目标推理引擎进行本地持久化处理，以存储所述目标推理引擎。

19、在一些实施例中，所述本地硬件信息至少包括本地硬件资源类型、本地硬件资源型号和本地硬件资源支持的推理引擎。

20、在一些实施例中，所述本地操作系统信息至少包括本地操作系统类型和本地操作系统对应支持的推理引擎。

21、第二方面，提供了一种任务数据处理系统，所述系统包括：

22、后端接入模块，被配置为存储至少一个可用推理引擎；

23、硬件信息模块，被配置为确定本地硬件信息；

24、操作系统信息模块，被配置为确定本地操作系统信息；以及

25、推理引擎确定模块，被配置为执行如下步骤：

26、确定目标任务数据以及所述目标任务数据对应的模型信息；

27、基于所述模型信息、本地硬件信息和本地操作系统信息，在至少一个可用推理引擎中确定所述目标任务数据对应的至少一个候选推理引擎；

28、根据所述目标任务数据对各所述候选推理引擎进行推理测试，从各所述候选推理引擎中确定目标推理引擎；以及

29、部署所述目标推理引擎。

30、第三方面，提供了一种任务数据处理装置，所述装置包括：

31、模型信息确定单元，被配置为执行确定目标任务数据以及所述目标任务数据对应的模型信息。

32、候选推理引擎确定单元，被配置为执行基于所述模型信息、本地硬件信息和本地操作系统信息，在至少一个可用推理引擎中确定所述目标任务数据对应的至少一个候选推理引擎。

33、推理测试单元，被配置为执行根据所述目标任务数据对各所述候选推理引擎进行推理测试，从各所述候选推理引擎中确定目标推理引擎。

34、部署单元，被配置为执行部署所述目标推理引擎。

35、在一些实施例中，所述候选推理引擎确定单元具体可以被配置为执行：

36、根据所述模型信息，在至少一个可用推理引擎中确定所述模型信息对应的目标模型集合。

37、根据所述目标模型集合、所述本地硬件信息和所述本地操作系统信息，确定至少一个候选推理引擎。

38、在一些实施例中，所述推理测试单元具体可以被配置为执行：

39、针对每个所述候选推理引擎，基于所述目标任务数据对所述候选推理引擎进行试运行，确定所述候选推理引擎对应的评价参数。

40、根据各所述候选推理引擎对应的评价参数，从各所述候选推理引擎中确定目标推理引擎。

41、在一些实施例中，所述评价参数包括推理时间和硬件资源占用比例中的一项或多项。

42、在一些实施例中，所述装置还包括：

43、替换引擎确定单元，被配置为执行响应于所述目标推理引擎被部署，且当前硬件资源负载大于预定负载阈值，根据各所述候选推理引擎对应的评价参数，从各所述候选推理引擎中确定替换引擎。

44、替换单元，被配置为执行将所述目标推理引擎替换为所述替换引擎。

45、在一些实施例中，所述装置还包括：

46、本地持久化单元，被配置为执行响应于确定目标推理引擎，对所述目标推理引擎进行本地持久化处理，以存储所述目标推理引擎。

47、在一些实施例中，所述本地硬件信息至少包括本地硬件资源类型、本地硬件资源型号和本地硬件资源支持的推理引擎。

48、在一些实施例中，所述本地操作系统信息至少包括本地操作系统类型和本地操作系统对应支持的推理引擎。

49、第四方面，本技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。

50、第五方面，本技术实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。

51、第六方面，本技术实施例提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如第一方面所述的方法。

52、本技术实施例在获取目标任务数据后，可以通过模型信息、本地硬件信息和本地操作系统信息为电子设备匹配一个适合的目标推理引擎，以提高电子设备对于目标任务数据的推理速度。因此，每当电子设备有不同的推理任务需要执行时，均可以先通过目标任务数据确定一个适合的目标推理引擎，再根据该目标推理引擎执行推理任务，从而提高推理任务的处理速度，提高电子设备的推理性能。