模型量化实现方法、业务处理方法及相关设备与流程

本技术涉及人工智能，尤其涉及一种模型量化实现方法、业务处理方法及相关设备。

背景技术：

1、近年来，基于深度学习的神经网络模型已被广泛应用于众多领域，随着模型性能的提高引入了巨大的参数量和计算量，对此提出了模型量化技术即一种将浮点计算转成低比特定点计算的技术，可以有效的降低模型计算强度、参数大小和内存消耗，提高模型运行速度。

2、然而，在实际模型量化过程中，通常是将神经网络模型的所有神经网络层进行统一量化转换，以利用量化后的神经网络模型执行业务，但这很容易造成神经网络模型量化精度的损失，导致无法满足业务需求。

技术实现思路

1、鉴于上述问题，本技术提供了以下方案：

2、本技术第一方面提供了一种模型量化实现方法，所述方法包括：

3、获取初始神经网络模型；所述初始神经网络模型包括多个初始神经网络层，并基于训练数据集进行量化感知训练得到；

4、执行量化配置更新操作，确定各个所述初始神经网络层的量化配置，包括：

5、对不同所述初始神经网络层进行量化处理，得到对应所述初始神经网络层被量化处理后的参考神经网络模型；

6、获得各个所述参考神经网络模型处理所述训练数据集后的至少一个目标特征的特征参数偏差量；

7、根据所述特征参数偏差量，确定所述初始神经网络模型中的至少一个目标神经网络层；

8、确定所述初始神经网络模型中的所述至少一个目标神经网络层与其他初始神经网络层各自对应的不同的量化配置；

9、基于确定的所述量化配置以及所述训练数据集，对所述初始神经网络模

10、型进行量化感知训练，获得目标神经网络模型。

11、在一种可能的实现中，所述对不同所述初始神经网络层进行量化处理，得到对应所述初始神经网络层被量化处理后的参考神经网络模型，包括：

12、对所述初始神经网络模型的不同数量的所述初始神经网络层进行量化处理，对应得到多个参考神经网络模型；

13、或，分别对所述初始神经网络模型的各个所述初始神经网络层进行量化处理，对应得到多个参考神经网络模型；

14、所述获得各个所述参考神经网络模型处理所述训练数据集后的至少一个目标特征的特征参数偏差量，包括：

15、根据各个所述参考神经网络模型，分别对所述训练数据集中的参考训练数据进行处理，得到相应所述参考神经网络模型输出的处理后的参考训练数据；

16、根据所述参考训练数据分别与各个所述参考神经网络模型输出的所述处理后的参考训练数据各自的至少一个目标特征的特征参数，获得各个被量化处理的所述初始神经网络层对应的至少一个目标特征的特征参数偏差量。

17、在一种可能的实现中，所述根据所述特征参数偏差量，确定所述初始神经网络模型中的至少一个目标神经网络层，包括：

18、如果各个所述参考神经网络模型中被量化处理的神经网络层的数量不同，根据第i+1个所述参考神经网络模型与第i个所述参考神经网络模型之间的所述至少一个目标特征的特征参数偏差变化量，获得各个被量化处理的所述初始神经网络层对应的目标特征参数偏差变化量；所述第i个所述参考神经网络模型通过对连续i层或第1~i层所述初始神经网络层量化处理后得到，i为整数；

19、如果各个所述参考神经网络模型中被量化处理的神经网络层的数量相同，但被量化处理的神经网络层不同，根据各个所述参考神经网络模型与所述初始神经网络模型之间的所述至少一个目标特征的特征参数偏差变化量，获得各个被量化处理的所述初始神经网络层对应的目标特征参数偏差变化量；

20、根据各个被量化处理的所述初始神经网络层对应的目标特征参数偏差变化量，确定满足预设条件的至少一个被量化处理的所述初始神经网络层；

21、将所述初始神经网络模型中的所述满足预设条件的至少一个被量化处理的所述初始神经网络层确定为目标神经网络层。

22、在一种可能的实现中，所述根据所述特征参数偏差量，确定所述初始神经网络模型中的至少一个目标神经网络层，包括：

23、对各个被量化处理的所述初始神经网络层对应的多个目标特征各自的特征参数偏差量进行整合处理，得到各个被量化处理的所述初始神经网络层对应的目标特征参数偏差量；

24、根据各个被量化处理的所述初始神经网络层对应的目标特征参数偏差量，确定所述初始神经网络模型中的至少一个目标神经网络层。

25、在一种可能的实现中，所述确定所述初始神经网络模型中的所述至少一个目标神经网络层与其他初始神经网络层各自对应的不同的量化配置，包括：

26、获得所述至少一个目标神经网络层各自对应所述参考神经网络模型中的目标量化配置；

27、将所述初始神经网络模型中的所述至少一个目标神经网络层的原量化配置更新为对应的所述目标量化配置，维持所述初始神经网络模型中其他初始神经网络层的量化配置不变。

28、在一种可能的实现中，所述基于确定的所述量化配置以及所述训练数据集，对所述初始神经网络模型进行量化感知训练，获得目标神经网络模型，包括：

29、基于确定的所述量化配置以及所述训练数据集，对所述初始神经网络模型进行量化感知训练，得到量化后的待定神经网络模型；

30、如果确定所述待定神经网络模型处理所述训练数据集中的测试数据后的至少一个目标特征的特征参数偏差量不满足训练终止条件，对所述待定神经网络模型继续执行所述量化配置更新操作；

31、如果确定所述待定神经网络模型处理所述训练数据集中的测试数据后的至少一个目标特征的特征参数偏差量满足训练终止条件，将所述待定神经网络模型确定为目标神经网络模型。

32、本技术第二方面提供了一种业务处理方法，所述方法包括：

33、获得业务请求；所述业务请求包含待处理的业务数据；

34、调用目标神经网络模型处理所述业务数据，得到业务处理结果；所述目

35、标神经网络模型至少通过两种不同的量化配置量化感知训练得到；

36、输出所述业务处理结果。

37、在一种可能的实现中，所述两种不同的量化配置至少包括第一量化配置和第二量化配置，所述第一量化配置和第二量化配置具有不同的量化范围更新方式；

38、其中，所述第一量化配置对应所述目标神经网络模型中的神经网络层对于所述业务处理结果的至少一个目标特征的特征参数偏差具有第一影响度；

39、所述第二量化配置对应所述目标神经网络模型中的神经网络层对于所述业务处理结果的至少一个目标特征的特征参数偏差具有第二影响度；

40、所述第一影响度大于所述第二影响度。

41、本技术第三方面提供了一种电子设备，所述电子设备包括至少一个第一存储器和至少一个第一处理器，其中：

42、所述第一处理器加载执行所述第一存储器存储的多个第一计算机指令，实现以下步骤：

43、获取初始神经网络模型；所述初始神经网络模型包括多个初始神经网络层，并基于训练数据集进行量化感知训练得到；

44、执行量化配置更新操作，确定各个所述初始神经网络层的量化配置，包括：

45、对不同所述初始神经网络层进行量化处理，得到对应所述初始神经网络层被量化处理后的参考神经网络模型；

46、获得各个所述参考神经网络模型处理所述训练数据集后的至少一个目标特征的特征参数偏差量；

47、根据各个被量化处理的所述初始神经网络层对应的所述至少一个目标特征的特征参数偏差量，确定所述初始神经网络模型中的至少一个目标神经网络层；所述目标神经网络层为满足预设条件的特征参数偏差量所对应的被量化处理的所述初始神经网络层；

48、确定所述初始神经网络模型中的所述至少一个目标神经网络层与其他初始神经网络层各自对应的不同的量化配置；

49、基于确定的所述量化配置以及所述训练数据集，对所述初始神经网络模型进行量化感知训练，获得目标神经网络模型。

50、本技术第四方面提供了一种业务设备，所述业务设备包括至少一个第二存储器和至少一个第二处理器，其中：

51、所述第二处理器加载执行所述第二存储器存储的多个第二计算机指令，实现以下步骤：

52、获得业务请求；所述业务请求包含待处理的业务数据；

53、调用目标神经网络模型处理所述业务数据，得到业务处理结果；所述目标神经网络模型至少通过两种不同的量化配置量化感知训练得到；

54、输出所述业务处理结果。