针对神经网络的数据处理方法、加速器及电子设备与流程

本申请涉及神经网络的数据处理领域，特别涉及一种针对神经网络的数据处理方法、加速器及电子设备。

背景技术：

1、神经网络是一种模拟人脑神经元网络的计算模型，通过大量的神经元和神经连接来进行复杂的计算任务。在神经网络的运算过程中，经常会使用到激活函数，如softmax,sigmoid、relu、tanh等，其被广泛应用于神经元之间的信息传递和非线性变换，如在神经网络的神经元之间进行信息传递。虽然激活函数在神经网络的前向传播过程中起到了非常重要的作用，但是它们的计算复杂度较高，对输入到神经网络的待处理数据的处理效率有限。

技术实现思路

1、本申请实施例的目的在于提供一种针对神经网络的数据处理方法、加速器及电子设备，该方法能够有效提高了神经网络的运算效率。

2、为了实现上述目的，本申请实施例提供了一种针对神经网络的数据处理方法，包括：

3、确定与第一神经网络的运算相关联的目标函数，其中所述目标函数用于在所述第一神经网络的神经元之间进行信息传递；

4、基于预设的第一关联关系，将所述目标函数的至少部分转换为对应的目标泰勒多项式，其中，所述目标泰勒多项式基于乘法和/或加法的运算模式来进行运算；

5、将目标数据发送到用于对所述第一神经网络进行运算的加速器，其中，所述加速器中设置有脉动阵列，所述脉动阵列包括至少一个基础运算单元行，每个所述基础运算单元行包括多个顺序连接的基础运算单元，所述基础运算单元中分别存储有所述目标泰勒多项式中每一数据项对应的权重数据；

6、利用所述基础运算单元行，并基于所述目标泰勒多项式的运算模式以及所述权重数据，对所述目标数据进行处理，以确定相应的处理结果。

7、作为可选，所述基于预设的第一关联关系，将所述目标函数的至少部分转换为对应的目标泰勒多项式，包括：

8、基于所述第一关联关系，确定所述目标函数中的展开对象，以及所述目标泰勒多项式的展开阶数。

9、作为可选，所述加速器中设置有权重缓存器，所述权重缓存器分别与所述脉动阵列中纵向排列的所述基础运算单元连接，所述方法还包括：

10、基于所述目标泰勒多项式的数据结构，确定所述目标泰勒多项式中每一数据项对应的权重数据；

11、利用所述权重缓存器，将各个所述权重数据分别输入到与其对应的纵向排列的所述基础运算单元的结果缓存器中。

12、作为可选，所述加速器中设置有用于输出所述目标数据的特征缓存器，所述特征缓存器分别与各个所述基础运算单元行连接，所述目标数据包括至少一个特征序列，每个所述特征序列包括多个输入特征值，每个所述特征序列均对应有所述基础运算单元行，所述利用所述基础运算单元行，并基于所述目标泰勒多项式的运算模式以及所述权重数据，对所述目标数据进行处理，以确定相应的处理结果，包括：

13、将所述特征序列输入到与其对应的所述基础运算单元行；

14、将所述特征序列中的各个所述输入特征值，逐步与相对应的所述基础运算单元行中的各个所述权重数据进行乘积操作，生成相应的乘积数据；

15、将所述乘积数据存储在所述结果缓存器中，并利用所述结果缓冲器输出。

16、作为可选，所述加速器中还设置有输出缓存器，所述输出缓存器与所述脉动阵列连接，所述利用所述基础运算单元行，并基于所述目标泰勒多项式的运算模式以及所述权重数据，对所述目标数据进行处理，以确定相应的处理结果，还包括：

17、将各个所述基础运算单元行运算得到的所述乘积数据输入到所述输出缓存器中；

18、利用所述输出缓存器对同一个所述基础运算单元行的所述乘积数据进行累加操作，确定针对相应的所述特征序列进行处理的处理结果。

19、作为可选，所述将所述特征序列中的各个所述输入特征值，逐步与相对应的所述基础运算单元行中的各个所述权重数据进行乘积操作，生成相应的乘积数据，包括：

20、确定各个所述输入特征值与所述基础运算单元行中的各个所述基础运算单元之间的对应关系；

21、将所述输入特征值和对应的所述基础运算单元的结果缓存器中的权重数据，输入到所述基础运算单元的乘加器中；

22、在所述乘加器中，将所述输入特征值与相对应的权重数据进行乘积操作，并将乘积结果存储在所述结果缓存器中。

23、作为可选，所述加速器中还设置有系统总线以及阵列控制器，所述系统总线分别与所述加速器中的各个模块连接，所述阵列控制器用于对所述脉动阵列进行控制。

24、本申请实施例还提供了一种神经网络的加速器，包括：

25、特征缓存器，用于确定与第一神经网络的运算相关联的目标函数，基于预设的第一关联关系，将所述目标函数的至少部分转换为对应的目标泰勒多项式，其中，所述目标泰勒多项式基于乘法和/或加法的运算模式来进行运算；所述目标函数用于在所述第一神经网络的神经元之间进行信息传递；

26、权重缓存器，用于确定所述目标泰勒多项式中每一数据项对应的权重数据；

27、脉动阵列，分别与所述特征缓存器和所述权重缓存器连接，包括至少一个基础运算单元行，每个所述基础运算单元行包括多个顺序连接的基础运算单元；所述基础运算单元行用于接收所述权重缓存器发送的权重数据，并基于所述目标泰勒多项式的运算模式以及所述权重数据，对目标数据进行处理，以确定相应的处理结果。

28、本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述存储器中存储有可执行程序，所述存储器执行所述可执行程序以进行如上所述的方法的步骤。

29、本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，其该计算机程序/指令被处理器执行时实现如上所述方法的步骤。

30、本申请实施例的该处理方法将神经网络中经常使用到的目标函数的至少部分转换为对应的目标泰勒多项式，并将加速器中的脉动阵列设置为与目标泰勒多项式相对应的结构，从而可以利用脉动阵列对激活函数等目标函数进行如同目标泰勒多项式的运算模式的运算，进而有效提高了神经网络的运算效率。

技术特征：

1.一种针对神经网络的数据处理方法，其特征在于，包括：

2.根据权利要求1所述的针对神经网络的数据处理方法，其特征在于，所述基于预设的第一关联关系，将所述目标函数的至少部分转换为对应的目标泰勒多项式，包括：

3.根据权利要求1所述的针对神经网络的数据处理方法，其特征在于，所述加速器中设置有权重缓存器，所述权重缓存器分别与所述脉动阵列中纵向排列的所述基础运算单元连接，所述方法还包括：

4.根据权利要求3所述的针对神经网络的数据处理方法，其特征在于，所述加速器中设置有用于输出所述目标数据的特征缓存器，所述特征缓存器分别与各个所述基础运算单元行连接，所述目标数据包括至少一个特征序列，每个所述特征序列包括多个输入特征值，每个所述特征序列均对应有所述基础运算单元行，所述利用所述基础运算单元行，并基于所述目标泰勒多项式的运算模式以及所述权重数据，对所述目标数据进行处理，以确定相应的处理结果，包括：

5.根据权利要求4所述的针对神经网络的数据处理方法，其特征在于，所述加速器中还设置有输出缓存器，所述输出缓存器与所述脉动阵列连接，所述利用所述基础运算单元行，并基于所述目标泰勒多项式的运算模式以及所述权重数据，对所述目标数据进行处理，以确定相应的处理结果，还包括：

6.根据权利要求4所述的针对神经网络的数据处理方法，其特征在于，所述将所述特征序列中的各个所述输入特征值，逐步与相对应的所述基础运算单元行中的各个所述权重数据进行乘积操作，生成相应的乘积数据，包括：

7.根据权利要求1所述的针对神经网络的数据处理方法，其特征在于，所述加速器中还设置有系统总线以及阵列控制器，所述系统总线分别与所述加速器中的各个模块连接，所述阵列控制器用于对所述脉动阵列进行控制。

8.一种神经网络的加速器，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器中存储有可执行程序，所述存储器执行所述可执行程序以进行如权利要求1所述的方法的步骤。

10.一种计算机程序产品，其特征在于，包括计算机程序/指令，其该计算机程序/指令被处理器执行时实现如权利要求1所述方法的步骤。

技术总结本申请公开了一种针对神经网络的数据处理方法、加速器及电子设备，该方法包括：确定与第一神经网络的运算相关联的目标函数；基于预设的第一关联关系，将目标函数的至少部分转换为对应的目标泰勒多项式；将目标数据发送到用于对第一神经网络进行运算的加速器，其中，加速器中设置有脉动阵列，脉动阵列包括至少一个基础运算单元行，每个基础运算单元行包括多个顺序连接的基础运算单元，基础运算单元中分别存储有目标泰勒多项式中每一数据项对应的权重数据；利用基础运算单元行，并基于目标泰勒多项式的运算模式以及权重数据，对目标数据进行处理，以确定相应的处理结果，该方法有效提高了神经网络的运算效率。技术研发人员：吴珺媛,王宇受保护的技术使用者：上海励驰半导体有限公司技术研发日：技术公布日：2024/9/29