受存储器限制的神经网络训练的制作方法

背景技术：

1、人工神经网络是具有基于生物神经网络的架构的计算系统。人工神经网络可以包括权重集。通过计算，可以将权重与输入数据进行合并来提取信息，并基于该信息做出决策。例如，对于用于检测对象的计算机视觉应用程序，人工神经网络可以合并权重与输入图像，以从图像中提取对象的某些特征。人工神经网络可以基于提取的特征生成关于图像中是否存在对象的决策。

2、可以通过训练过程生成/更新人工神经网络的权重集，其中人工神经网络可以学习如何在应用程序中执行某项计算任务。训练过程涉及向人工神经网络提供训练输入数据，并由支持特定决策(例如，检测或不检测图像中的对象)的参考输出集标记训练输入数据。人工神经网络可以执行计算来合并权重与训练输入数据，以生成训练输出数据集，训练输出数据集可以与参考输出数据集进行对比以生成差异集。在训练期间，可以向人工神经网络提供不同的训练输入数据集来生成不同的训练输出数据集。可以根据目标调整人工神经网络的权重集，例如尽量减少训练输出数据集和参考输出数据集之间的差异。

3、为了提高人工神经网络生成正确决策的可能性，通常使用包含大量操作场景的大量训练输入数据来训练人工神经网络。因此，训练操作通常需要大量资源，诸如存储器资源。

技术实现思路

技术特征：

1.一种装置，包括：

2.根据权利要求1所述的装置，其特征在于，所述正向传播操作为第一正向传播操作；

3.根据权利要求2所述的装置，其特征在于，所述硬件处理器被配置成用于在所述损失梯度操作之前执行所述指令以：

4.根据权利要求3所述的装置，其特征在于，在所述第二传播操作完成之后将所述第二中间输出存储在第二存储器中，并且其中所述存储器为第一存储器。

5.根据权利要求2所述的装置，其特征在于，所述硬件处理器被配置成用于在所述损失梯度操作之前执行所述指令以：

6.根据权利要求2所述的装置，其特征在于，所述正向传播操作是基于从所述神经网络的另一层接收的输入数据来执行的。

7.根据权利要求2所述的装置，其特征在于，所述第一正向传播操作针对所述神经网络的第一层，并且其中所述第二正向传播操作针对所述神经网络的第二层。

8.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器：

9.根据权利要求8所述的非暂时性计算机可读介质，其特征在于所述正向传播操作为第一正向传播操作；

10.根据权利要求9所述的非暂时性计算机可读介质，其特征在于，在所述损失梯度操作之前使所述处理器：

11.根据权利要求10所述的非暂时性计算机可读介质，其特征在于，在所述第二传播操作完成之后，将所述第二中间输出存储在存储器中。

12.根据权利要求9所述的非暂时性计算机可读介质，其特征在于，在所述损失梯度操作之前使所述处理器：

13.根据权利要求9所述的非暂时性计算机可读介质，其特征在于，所述正向传播操作是基于从所述神经网络的另一层接收的输入数据来执行的。

14.根据权利要求9所述的非暂时性计算机可读介质，其特征在于，所述第一正向传播操作针对所述神经网络的第一层，并且其中所述第二正向传播操作针对所述神经网络的第二层。

15.一种方法，包括：

16.根据权利要求15所述的方法，其特征在于，所述正向传播操作为第一正向传播操作；

17.根据权利要求16所述的方法，在所述损失梯度操作之进一步包括：

18.根据权利要求17所述的方法，其特征在于，在所述第二传播操作完成之后，将所述第二中间输出存储在存储器中。

19.根据权利要求16所述的方法，在所述损失梯度操作之进一步包括：

20.根据权利要求16所述的方法，其特征在于，所述正向传播操作是基于从所述神经网络的另一层接收的输入数据来执行的。

技术总结本公开提供了用于训练神经网络的方法和系统。在一个示例中，装置包括存储指令的存储器；和硬件处理器，被配置为执行所述指令以：控制神经网络处理器执行损失梯度操作，以生成数据梯度；在所述损失梯度操作完成之后，控制所述神经网络处理器执行正向传播操作，以生成中间输出；基于所述数据梯度和所述中间输出控制所述神经网络处理器执行反向传播操作，以生成权重梯度；从所述神经网络处理器中接收所述权重梯度；以及基于所述权重梯度更新神经网络的权重。技术研发人员：S·森古普塔,R·戴尔蒙特,R·R·黄,V·维韦克拉亚受保护的技术使用者：亚马逊技术股份有限公司技术研发日：技术公布日：2024/9/2