一种异构神经网络计算资源管理系统及方法与流程

1.本发明属于人工智能领域，尤其涉及一种异构神经网络计算资源管理系统及方法。


背景技术：

2.目前，大多的npu都可使用单核对神经网络算法进行推理，但在某些使用场合中，其要求使用多核加速同一网络和多核运行多个网络的功能，此时仅仅使用单核对神经网络进行加速，不但无法满足使用的要求，而且限制了用户的使用方式。


技术实现要素：

3.为解决背景技术中存在的技术问题，本发明提供一种异构神经网络计算资源管理系统及方法，实现使用多核加速同一网络和多核运行多个网络的功能，有效的提高了用户使用的灵活性。
4.本发明的解决方案是：本发明为一种异构神经网络计算资源管理系统，其特殊之处在于：该系统包括离线时模块和运行时模块，离线时模块与运行时模块连接，离线时模块用于生成权重文件、配置文件以及异构计算加速方式选择文件，运行时模块用于加载权重文件、配置文件、异构计算加速方式选择文件、输入数据以及进行神经网络推理。
5.进一步的，离线时模块接收用户训练完毕的神经网络模型文件，包括网络结构文件以及权重文件，经过模型文件的格式转换以及解析后，生成权重文件、网络配置文件以及异构计算加速方式选择文件，并将其作为离线时模块的输出。
6.进一步的，运行时模块接收离线时模块的输出以及用户的输入数据作为运行时模块的输入，神经网络开始推理前调用权重文件、网络配置文件、异构计算加速方式选择文件，将权重文件中神经网络各层权重参数加载到神经网络中，并对网络配置文件以及异构计算加速方式选择文件进行解析，按照网络配置文件、异构计算加速方式选择文件完成神经网络、推理单元的配置，然后再将用户的输入数据输入到神经网络中开始神经网络推理，待神经网络推理完毕后将推理的结果作为运行时模块的输出。
7.进一步的，离线时模块的输出包括权重文件与网络配置文件。
8.一种应用上述的异构神经网络计算资源管理系统的方法，其特殊之处在于：该方法包括以下步骤：
9.1)离线时模块接收用户训练完毕的神经网络模型文件，包括网络结构文件以及权重文件，经过模型文件的格式转换以及解析后，生成权重文件、网络配置文件以及异构计算加速方式选择文件，并将其作为离线时模块的输出；
10.2)运行时模块接收离线时模块的输出以及用户的输入数据作为运行时模块的输入，神经网络开始推理前调用权重文件、网络配置文件、异构计算加速方式选择文件，将权重文件中神经网络各层权重参数加载到神经网络中，并对网络配置文件以及异构计算加速方式选择文件进行解析，按照网络配置文件、异构计算加速方式选择文件完成神经网络、推
理单元的配置，然后再将用户的输入数据输入到神经网络中开始神经网络推理，待神经网络推理完毕后将推理的结果作为运行时模块的输出。
11.进一步的，离线时模块的输出包括权重文件与网络配置文件。
12.本发明提供的一种异构神经网络计算资源管理系统及方法。系统包括用于生成权重文件、配置文件以及异构计算加速方式选择文件的离线时模块与用于加载权重文件、配置文件、异构计算加速方式选择文件、输入数据以及进行神经网络推理的运行时模块。本发明通过离线时模块对神经网络进行格式转换与解析、运行时模块对神经网络进行配置的方法，从而实现使用多核加速同一网络和多核运行多个网络的功能，有效的提高了用户使用的灵活性。
附图说明
13.图1为本发明的方法模块图。
具体实施方式
14.下面结合附图和具体实施例对本发明的技术方案做进一步详细描述。
15.参见图1，本发明的异构神经网络计算资源管理系统具体实施例的结构包括用于生成权重文件、配置文件以及异构计算加速方式选择文件的离线时模块和用于加载权重文件、配置文件、异构计算加速方式选择文件、输入数据以及进行神经网络推理的运行时模块，离线时模块与运行时模块连接。
16.其中，离线时模块接收用户训练完毕的神经网络模型文件，包括网络结构文件以及权重文件，经过模型文件的格式转换以及解析后，生成权重文件、网络配置文件以及异构计算加速方式选择文件，并将其作为离线时模块的输出。
17.运行时模块接收离线时模块的输出以及用户的输入数据作为运行时模块的输入，神经网络开始推理前调用权重文件、网络配置文件、异构计算加速方式选择文件，将权重文件中神经网络各层权重参数加载到神经网络中，并对网络配置文件以及异构计算加速方式选择文件进行解析，按照网络配置文件、异构计算加速方式选择文件完成神经网络、推理单元的配置，然后再将用户的输入数据输入到神经网络中开始神经网络推理，待神经网络推理完毕后将推理的结果作为运行时模块的输出，从而实现使用多核加速同一网络和多核运行多个网络的功能。
18.本发明还提供一种异构神经网络计算资源管理方法，该方法包括以下步骤：
19.1)离线时模块接收用户训练完毕的神经网络模型文件，包括网络结构文件以及权重文件，经过模型文件的格式转换以及解析后，生成权重文件、网络配置文件以及异构计算加速方式选择文件，并将其作为离线模块的输出；
20.2)运行时模块，接收离线模块的输出(权重文件、网络配置文件、异构计算加速方式选择文件)以及用户的输入数据作为运行时模块的输入，神经网络开始推理前调用权重文件、网络配置文件、异构计算加速方式选择文件，将权重文件中神经网络各层权重参数加载到神经网络中，并对网络配置文件以及异构计算加速方式选择文件进行解析，按照网络配置文件、异构计算加速方式选择文件完成神经网络、推理单元的配置，然后再将用户的输入数据输入到神经网络中开始神经网络推理，待神经网络推理完毕后将推理的结果作为运
行时模块的输出。
21.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细地说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。


技术特征：
1.一种异构神经网络计算资源管理系统，其特征在于：该系统包括离线时模块和运行时模块，所述离线时模块与运行时模块连接，所述离线时模块用于生成权重文件、配置文件以及异构计算加速方式选择文件，所述运行时模块用于加载权重文件、配置文件、异构计算加速方式选择文件、输入数据以及进行神经网络推理。2.根据权利要求1所述的异构神经网络计算资源管理系统，其特征在于：所述离线时模块接收用户训练完毕的神经网络模型文件，包括网络结构文件以及权重文件，经过模型文件的格式转换以及解析后，生成权重文件、网络配置文件以及异构计算加速方式选择文件，并将其作为离线时模块的输出。3.根据权利要求2所述的异构神经网络计算资源管理系统，其特征在于：所述运行时模块接收离线时模块的输出以及用户的输入数据作为运行时模块的输入，神经网络开始推理前调用权重文件、网络配置文件、异构计算加速方式选择文件，将权重文件中神经网络各层权重参数加载到神经网络中，并对网络配置文件以及异构计算加速方式选择文件进行解析，按照网络配置文件、异构计算加速方式选择文件完成神经网络、推理单元的配置，然后再将用户的输入数据输入到神经网络中开始神经网络推理，待神经网络推理完毕后将推理的结果作为运行时模块的输出。4.根据权利要求3所述的异构神经网络计算资源管理系统，其特征在于：所述离线时模块的输出包括权重文件与网络配置文件。5.一种应用权利要求1所述的异构神经网络计算资源管理系统的方法，其特征在于：该方法包括以下步骤：1)离线时模块接收用户训练完毕的神经网络模型文件，包括网络结构文件以及权重文件，经过模型文件的格式转换以及解析后，生成权重文件、网络配置文件以及异构计算加速方式选择文件，并将其作为离线时模块的输出；2)运行时模块接收离线时模块的输出以及用户的输入数据作为运行时模块的输入，神经网络开始推理前调用权重文件、网络配置文件、异构计算加速方式选择文件，将权重文件中神经网络各层权重参数加载到神经网络中，并对网络配置文件以及异构计算加速方式选择文件进行解析，按照网络配置文件、异构计算加速方式选择文件完成神经网络、推理单元的配置，然后再将用户的输入数据输入到神经网络中开始神经网络推理，待神经网络推理完毕后将推理的结果作为运行时模块的输出。6.根据权利要求5所述的异构神经网络计算资源管理方法，其特征在于：所述离线时模块的输出包括权重文件与网络配置文件。

技术总结
本发明涉及一种异构神经网络计算资源管理系统及方法。本发明的系统包括离线时模块和运行时模块，离线时模块与运行时模块连接，离线时模块用于生成权重文件、配置文件以及异构计算加速方式选择文件，运行时模块用于加载权重文件、配置文件、异构计算加速方式选择文件、输入数据以及进行神经网络推理。本发明实现使用多核加速同一网络和多核运行多个网络的功能，有效的提高了用户使用的灵活性。有效的提高了用户使用的灵活性。有效的提高了用户使用的灵活性。


技术研发人员：马城城 秦翔 孙成璐 罗进杰 党浪飞
受保护的技术使用者：西安翔腾微电子科技有限公司
技术研发日：2022.08.20
技术公布日：2022/11/11