特征张量处理方法、装置、电子设备及存储介质与流程

本技术涉及人工智能领域，具体而言，涉及一种特征张量处理方法、装置、电子设备及存储介质。

背景技术：

1、为提高人工智能模型的推理效率，通常会对人工智能模型的输入特征张量进行量化，以降低数据的复杂度，提高人工智能模型的效率，再对人工智能模型的输出特征张量进行反量化。

2、目前采用的方式通常是对输入特征张量进行标定后整体量化，以及对输出特征张量进行标定后整体反量化。

3、然而，输出特征张量和输出特征张量都是高维的数据，如大于2维的特征张量，每个维度的数据分布差异较大，对其进行标定会使得标定值在不同数据区间的分布不均，使得量化和反量化的特征张量的数据分布差异较大。而又由于人工智能模型有多个层级结构，每一层级结构的权重不用，计算方式不同，若特征张量的数据分布不均，则可能影响计算结果的准确性，出现较大的量化误差。

技术实现思路

1、有鉴于此，本技术旨在提供一种特征张量处理方法、装置、电子设备及存储介质，以降低人工智能模型所使用的特征张量的量化误差，提高人工智能模型工作的准确性。

2、第一方面，本技术实施例提供一种特征张量处理方法，应用于人工智能模型，所述包括：获取所述人工智能模型中各网络层的输入特征张量；对于所述人工智能模型中的每一网络层，基于所述每一网络层的输入特征张量计算所述每一网络层对应的量化规格值；利用所述每一网络层对应的量化规格值分别对所述每一网络层的输入特征张量进行量化处理。

3、规格值(scale)为量化和反量化所需的参数。现有技术中计算得到的针对人工智能模型整体的量化规格值虽与该人工智能模型整体特性相匹配，但人工智能模型中每一网络层的输入特征张量不同，以及每一网络层的计算方式不同，使用相同的规格值进行量化，仍存在较大量化误差。本技术实施例中，针对人工智能模型的每一个网络层，根据每一网络层输入特征张量计算对应的量化规格值，可以使得各量化规格值能够与每一网络层输入特征张量更为相匹配，从而利用网络层对应的规格值对输入特征张量进行量化时，可以使得量化后的输入特征张量能够更符合未量化前的数据分布情况，从而减少每一网络层对各自输入特征张量进行计算时导致的量化误差。

4、一实施例中，所述基于所述每一网络层的输入特征张量计算所述每一网络层对应的量化规格值，包括：获取对所述输入特征张量进行分割得到的第一分割结果以及历史第一分割结果，所述历史第一分割结果通过对所述每一网络层的历史输入特征张量进行分割得到，所述历史输入特征张量为所述每一网络层在先轮次的输入数据；对所述第一分割结果和所述历史第一分割结果进行标定，得到第一标定值；基于所述第一标定值、预设的量化规格值计算公式计算得到所述量化规格值，所述量化规格值计算公式包括所述量化规格值与所述第一标定值之间的对应关系。

5、输入特征张量通常为高维数据，其数据较为复杂，本技术实施例中，通过对输入特征张量进行分割，可以降低数据复杂度，提高量化规格值的计算效率。此外，在人工智能模型不断执行的过程中，不同轮次的输入特征张量可能不同，其数据分布不同，若沿用相同的量化规格值，则可能使得量化规格值不符合当前轮次输入特征张量的数据分布情况，因此，本技术实施例中，在计算量化规格值时，可以结合当前轮次的第一分割结果和历史第一分割结果进行标定，从而使得第一标定值涵盖更大的范围，从而能够更完整、更准确地表征该网络层每轮输入特征张量的数据分布情况，进而减少利用量化规格值进行量化时导致的量化误差。

6、一实施例中，所述第一分割结果和所述历史第一分割结果均为数组；所述第一标定值包括最大第一标定值组和最小第一标定值组，所述预设的量化规格值计算公式包括所述量化规格值、所述最大第一标定值、所述最小第一标定值之间的对应关系；对所述第一分割结果和所述历史第一分割结果进行标定，得到第一标定值，包括：将所述第一分割结果和所述历史第一分割结果中相同位置的数据进行对比，取每一次比对中的最大值构成所述最大第一标定值组；以及，将所述第一分割结果和所述历史第一分割结果中相同位置的数据进行对比，取每一次比对中的最小值构成所述最小第一标定值组。

7、本技术实施例中，对第一分割结果和历史第一分割结果为数组，数组中的每一位置的数据可以控制一个维度，由此，通过数组可以反映出第一分割结果和历史第一分割结果数据分布，再将第一分割结果和历史第一分割结果标定，从而使得标定值的粒度更细，基于标定值计算得到的量化规格值可以有效减少量化时的量化误差。

8、一实施例中，所述预设的量化规格值计算公式计算包括：

9、

10、其中，所述cn为所述最大第一标定值组，所述dn为所述最小第一标定值组，所述pn为量化规格值，所述b为量化所使用比特的位宽。

11、本技术实施例中，在计算量化规格值利用最大值减去最小值，可以使得量化规格值可以涵盖输入特征张量整个数据分布范围，从而使得量化规格值能够完整地表征输入特征的数据分布情况，再利用该量化规格值进行对输入特征张量进行量化时，可以有效减少由量化导致的误差。

12、一实施例中，所述特征张量处理方法还包括：获取所述人工智能模型中各网络层的输出特征张量；对于所述人工智能模型中的每一网络层，基于所述每一网络层的输出特征张量，分别计算所述每一网络层对应的反量化规格值；利用所述每一网络层对应的反量化规格值分别对各所述网络层的输出特征张量进行反量化处理。

13、本技术实施例中，针对人工智能模型的每一个网络层，根据每一网络层输出特征张量计算对应的反量化规格值，可以使得反量化规格值能够与每一网络层输出特征张量更为相匹配，从而利用网络层对应的规格值对输出特征张量进行量化时，可以使得量化后的输出特征张量能够更符合未反量化前的数据分布情况，从而减少每一网络层对各自输出特征张量进行计算时导致的量化误差。

14、一实施例中，所述基于所述每一网络层的输出特征张量分别计算所述每一网络层对应的反量化规格值，包括：获取对所述输出特征张量进行分割得到的第二分割结果以及历史第二分割结果，所述历史第二分割结果通过对所述每一网络层的历史输出特征张量进行分割得到，所述历史输出特征张量为所述每一网络层在先轮次的输出数据；对所述第二分割结果和所述历史第二分割结果进行标定，得到第二标定值；基于所述第二标定值、预设的反量化规格值计算公式计算得到所述反量化规格值，所述反量化规格值计算公式包括反量化规格值与所述第二标定值之间的对应关系。

15、本技术实施例中，在计算反量化规格时，可以结合当前轮次的第二分割结果和历史第二分割结果进行标定，从而使得第二标定值涵盖更大的范围，从而能够更完整、更准确地表征网络层每轮的输出特征张量的数据分布情况，进而减少利用反量化规格值进行反量化时导致的误差。

16、一实施例中，所述第二分割结果和所述历史第二分割结果均为包括多个数据的数组；所述第二标定值包括最大第二标定值组和最小第二标定值组，所述预设的反量化规格值计算公式包括所述反量化规格值、所述最大第二标定值、所述最小第二标定值之间的对应关系；所述对所述第二分割结果和所述历史第二分割结果进行标定，得到第二标定值，包括：将所述第二分割结果和所述历史第二分割结果中相同位置的数据进行对比，确定最大值并组合得到所述最大第二标定值组；以及，将所述第二分割结果和所述历史第二分割结果中相同位置的数据进行对比，确定最小值并组合得到所述最小第二标定值组。

17、本技术实施例中，对第二分割结果和历史第二分割结果为数组，数组中的每一位置的数据可以控制一个维度，由此，通过数组可以反映出第二分割结果和历史第二分割结果数据分布，再将第二分割结果和历史第二分割结果标定，从而使得标定值的粒度更细，基于标定值计算得到的反量化规格值可以有效减少反量化导致的误差。

18、一实施例中，所述预设的反量化规格值计算公式计算包括：

19、

20、其中，所述en为所述最大第二标定值组，fn为所述最小第二标定值组，所述qn为反量化规格值，所述b为量化所使用比特的位宽。

21、本技术实施例中，在计算反量化规格值利用最大值减去最小值，可以使得反量化规格值可以涵盖输出特征张量整个数据分布范围，从而使得反量化规格值能够完整地表征输出特征的数据分布情况，再利用该反量化规格值进行对输出特征张量进行反量化时，可以有效减少由反量化导致的误差。

22、第二方面，本技术实施例提供一种特征张量处理装置，应用于配置有人工智能模型的电子设备，所述特征张量处理装置包括：获取模块，用于获取所述人工智能模型中各网络层的输入特征张量；计算模块，用于对于所述人工智能模型每一网络层，基于该网络层的输入特征张量计算该网络层对应的量化规格值；量化模块，用于利用各所述网络层对应的量化规格值分别对各所述网络层的输入特征张量进行量化处理。

23、第三方面，本技术实施例提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行，以执行如第一方面所述的方法。

24、第四方面，本技术实施例提供一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如第一方面所述的方法。