针对矩阵向量乘法使用存储器单元预补偿的存储器装置的制作方法

本文中所公开的至少一些实施例大体上涉及存储器装置且更特定来说但不限于，在使用存储器单元执行乘法及其它运算之前调整存储器单元的编程的存储器装置。

背景技术：

1、有限的存储器带宽是机器学习系统中的一个重大问题。例如，当前系统中使用的dram装置存储深度神经网络(dnn)中使用的大量权重及激活。

2、在一个实例中，深度学习机器(例如支持针对卷积神经网络(cnn)的处理的那些机器)执行处理以确定每秒的大量计算。例如，输入/输出数据、深度学习网络训练参数及中间结果不断地从一或多个存储器装置(例如，dram)提取及存储在所述一或多个存储器装置中。当涉及大存储密度(例如，大于100mb的存储密度)时，通常归因于其成本优势而使用dram类型的存储器。在深度学习硬件系统的一个实例中，计算单元(例如，单片系统(soc)、fpga、cpu或gpu)附接到(若干)存储器装置(例如，dram装置)。

3、现存计算机架构使用专用于串行处理的处理器芯片及针对高密度存储器优化的dram。这两个装置之间的接口是一个主要瓶颈，其引入延时及带宽限制且增加相当大的功耗开销。片上存储器是面积昂贵的且不可能将大量存储器添加到当前用来训练及部署dnn的cpu及gpu处理器。

4、使用神经网络中的存储器以随着输入传播通过网络而存储输入数据、权重参数及激活。在训练中，必须保留来自正向通路的激活，直到它们可被用来计算反向通路中的错误梯度。作为实例，网络可具有2600万个权重参数且计算正向通路中的1600万次激活。如果使用32位浮点值来存储每一权重及激活，那么这对应于168mb的总存储要求。

5、gpu及其它机器需要显著存储器用于神经网络的权重及激活。gpu无法高效地直接执行深度神经网络中使用的小卷积，因此它们需要显著激活或权重存储。最后，还需要存储器来存储输入数据、临时值及程序指令。例如，高性能gpu可能需要超过7gb的本地dram。

6、在gpu处理器上无法保持大量存储数据。在许多情况下，高性能gpu处理器可能具有仅1kb的存储器与可足够快地读取以使浮点数据路径饱和的处理器核心中的每一者相关联。因此，在dnn的每一层处，gpu需要将状态保存到外部dram，加载网络的下一层，且接着重载数据。因此，片外存储器接口遭受不断地重载权重以及保存及检索激活的负担。这显著地缩减训练时间且增加功耗。

7、在一个实例中，使用图像及其它传感器且其产生大量数据。在一些应用中，将某些类型的数据从所述传感器传输到通用微处理器(例如，中央处理单元(cpu))以供处理是低效的。例如，将图像数据从图像传感器传输到微处理器以供图像分段、对象辨识、特征提取等是低效的。

8、一些图像处理可包含涉及用于累加的元素的列或矩阵的乘法的密集型计算。已开发出用于加速乘法及累加运算的一些专用电路。例如，乘法器-累加器(mac单元)可使用一组并行计算逻辑电路来实施以实现比通用微处理器更高的计算性能。

技术实现思路

1、本申请的一方面涉及一种装置，其包括：主机接口，其经配置以与主机通信；及逻辑电路系统，其经配置以：基于第一存储器单元的上下文确定至少一个偏移电压；及对所述第一存储器单元进行编程以存储来自所述主机的第一权重，其中使用所述至少一个偏移电压调整所述第一存储器单元的阈值电压。

2、本申请的另一方面涉及一种系统，其包括：至少一个传感器；及至少一个控制器，其经配置以：对第一存储器单元进行编程以存储第一权重，其中使用经调整目标电流执行所述编程；及基于累加来自所述第一存储器单元的输出电流而确定至少一个结果，其中所述第一权重乘以对应于由所述传感器收集的数据的输入。

3、本申请的又一方面涉及一种方法，其包括：在第一集成电路裸片上的半导体衬底上方形成存储器单元阵列；及在第二集成电路裸片上形成控制器，其中所述控制器经配置以：确定预测在执行至少一次乘法时存在的所述阵列中的第一存储器单元的环境；及对所述第一存储器单元进行编程，其中基于所述经预测环境调整所述编程。

技术特征：

1.一种装置，其包括：

2.根据权利要求1所述的装置，其中所述上下文包含与所述第一权重相关联的特性、所述第一存储器单元在存储器单元阵列中的位置或在执行乘法时与所述第一存储器单元相关联的至少一个电流的预测中的至少一者。

3.根据权利要求1所述的装置，其中所述上下文包含关于对至少一个输入的预测的统计数据或存储器单元阵列中的权重模式中的至少一者。

4.根据权利要求1所述的装置，其中所述上下文包含由处理引起的存储器单元变动或来自相邻单元的干扰中的至少一者。

5.一种系统，其包括：

6.根据权利要求5所述的系统，其中乘法运算期间的所述输出电流对应于所述第一存储器单元的相应目标电流。

7.根据权利要求5所述的系统，其进一步包括经配置以将至少一个电压施加到字线以选择所述第一存储器单元用于将所述第一权重乘以所述输入的电压驱动器。

8.一种方法，其包括：

9.根据权利要求8所述的方法，其中所述第一存储器单元通过选择晶体管耦合到至少一条位线，且执行所述乘法包括将至少一个输入模式施加到所述选择晶体管的栅极。

10.根据权利要求8所述的方法，其进一步包括：

技术总结描述与针对矩阵向量乘法使用存储器单元预补偿的存储器装置相关的系统、方法及设备。在一种方法中，存储器单元阵列具有存储器单元，所述存储器单元用来基于对来自所述存储器单元的输出电流求和而执行矩阵向量乘法。存储器单元的上下文由控制器(例如，具有所述阵列的存储器芯片内部或外部的存储器控制器)来确定。所述上下文可包含例如存储器单元的物理位置、被编程的权重模式及/或相邻单元干扰等。基于所述经确定上下文，所述控制器动态地确定用于在执行所述矩阵向量乘法之前对所述存储器单元进行编程以存储权重的调整(例如，经调整目标阈值电压或电流)。技术研发人员：W·C·菲利皮亚克,J·M·赫斯特受保护的技术使用者：美光科技公司技术研发日：技术公布日：2025/1/6