神经网络智能芯片及其形成方法与流程

[0001]
本发明涉及智能芯片领域，尤其涉及一种神经网络智能芯片及其形成方法。


背景技术：

[0002]
如今，需要大量高速运算及大量高速读写存储器的芯片被广泛应用，例如基于神经网络的人工智能芯片已被证明在许多应用中能够起到辅助作用。基于神经网络的芯片的一般结构虽然在人工智能领域取得了瞩目的成果，但是由于运算量和数据量巨大，目前智能芯片的计算速度依旧面临巨大的挑战。
[0003]
现有的智能芯片中，通常将数据存放于神经网络芯片外部的dram存储器内。存储芯片与神经网络计算芯片之间通过外部转接板的封装连线连接。由于外部转接板的空间有限，限制了连线的数量与距离，导致dram存储器与神经网络计算芯片之间的数据传输带宽受限；并且由于外部转接板的接口处存在大电容，数据传输承受着沉重的负载，导致功耗较高；以及外部封装连线具有高电容和高电感，限制了数据传输上限和功耗下限。并且，目前神经网络计算芯片内通过sram存储器与外部的dram存储器之间进行数据的传输和存储，因此，sram存储器的数量也进一步限制了与dram存储器之间的数据传输速度。为了提高芯片运算速度，若使用了大量的sram存储器，sram占用的芯片面积较大，因而又会导致成本和功耗增大。以上这些问题均导致了智能芯片的运算速度面临较大的瓶颈。还有一种方法是将智能芯片采用soc的设计，但是由于嵌入式的存储器并不能像sram一样跟逻辑单元/线路一起被简单地制作出来，因此增加了整个成本和功耗增大，跟增大sram相比，成本未必下降，虽然总存储量可以大一点，但复杂度高更多。
[0004]
以上这些问题均导致了智能芯片的运算速度面临较大的瓶颈。


技术实现要素：

[0005]
本发明所要解决的技术问题是，提供一种神经网络智能芯片及其形成方法，以提高智能芯片的运算速度。
[0006]
为了解决上述问题，本发明提供了一种神经网络智能芯片，包括：计算模块，所述计算模块包括若干逻辑单元和若干缓存单元，所述逻辑单元和所述缓存单元一一对应连接，所述逻辑单元用于对对应的所述缓存单元进行读/写数据操作；存储模块，包括若干存储单元，至少一个所述存储单元与至少一个所述缓存单元对应连接。
[0007]
可选的，所述若干逻辑单元和所述若干缓存单元形成于同一逻辑基底内，所述逻辑单元和缓存单元之间通过形成于所述逻辑基底内的互连电路形成电连接。
[0008]
可选的，所述若干存储单元形成于单层存储基底或多层堆叠连接的存储基底内。
[0009]
可选的，所述存储基底和逻辑基底堆叠连接。
[0010]
可选的，所述存储基底与所述逻辑基底之间通过键合形成电连接。
[0011]
可选的，所述存储基底与所述逻辑基底内均形成有互连结构，所述存储基底与所述逻辑基底之间通过所述互连结构实现电连接。
[0012]
可选的，所述缓存单元包括sram存储阵列；所述存储单元包括：dram存储阵列、pcram存储阵列、mram存储阵列、rram存储阵列、sram存储阵列、nor存储阵列、nand存储阵列以及fram存储阵列中的任意一种或几种存储阵列。
[0013]
本发明的具体实施方式也提供一种神经网络智能芯片的形成方法，包括：形成计算模块，所述计算模块包括若干逻辑单元和若干缓存单元，所述逻辑单元和所述缓存单元一一对应连接，所述逻辑单元用于对对应的所述缓存单元进行读/写数据操作；形成存储模块，包括若干存储单元；将至少一个所述存储单元与至少一个所述缓存单元对应连接。
[0014]
可选的，在同一逻辑基底内形成所述若干逻辑单元和所述若干缓存单元；所述形成方法还包括：在所述逻辑基底内形成互连电路，所述逻辑单元和缓存单元之间通过所述的互连电路形成电连接。
[0015]
可选的，在单层存储基底或多层堆叠连接的存储基底内形成所述若干存储单元。
[0016]
可选的，将所述存储基底和逻辑基底堆叠连接。
[0017]
可选的，通过键合工艺实现所述存储基底与所述逻辑基底之间的电连接。
[0018]
可选的，在所述存储基底与所述逻辑基底内均形成互连结构，所述存储基底与所述逻辑基底之间通过所述互连结构实现电连接。
[0019]
可选的，所述缓存单元包括sram存储阵列；所述存储单元包括：dram存储阵列、pcram存储阵列、mram存储阵列、rram存储阵列、sram存储阵列、nor存储阵列、nand存储阵列以及fram存储阵列中的任意一种或几种存储阵列。
[0020]
本发明的神经网络智能芯片的计算模块从对应的存储模块之间进行数据传输，可以提高存储模块与计算模块之间的数据传输带宽，且计算模块中包括缓存单元，能够提高从存储单元中读取和写入数据的效率，从而进一步提高芯片计算能力。且本发明的神经网络智能芯片的架构可以适用于不同类型的计算需求，具有较高的适用性。
附图说明
[0021]
图1a至图1c为本发明一具体实施方式的神经网络智能芯片的架构示意图；
[0022]
图2为本发明一具体实施方式的神经网络智能芯片的架构示意图；
[0023]
图3为本发明一具体实施方式的神经网络智能芯片的架构示意图；
[0024]
图4为本发明一具体实施方式的神经网络智能芯片的结构示意图；
[0025]
图5为本发明一具体实施方式的神经网络智能芯片的形成方法的流程示意图。
具体实施方式
[0026]
下面结合附图对本发明提供的神经网络智能芯片及其形成方法的具体实施方式做详细说明。
[0027]
请参考图1a至1c，为本发明一具体实施方式的神经网络智能芯片的构架示意图。
[0028]
所述神经网络智能芯片，包括计算模块200和存储模块100，所述计算模块200用于对所述存储模块100进行数据读取和写入操作。
[0029]
所述计算模块200包括若干逻辑单元202和若干缓存单元201，所述逻辑单元202和所述缓存单元201一一对应连接，所述逻辑单元202用于对对应的所述缓存单元201进行读/写数据操作。需要注意的是，图1b为该具体实施方式中的计算模块200连接结构示意图，并
非实际的物理结构示意图。
[0030]
所述逻辑单元202包括乘法器、累加器、运算逻辑电路以及锁存器等器件以及电路。所述缓存单元201包括sram存储阵列，具有较高的读写效率。
[0031]
由于每个逻辑单元202与各自对应的缓存单元201之间进行数据传输，因而整个计算模块200内部对的数据传输带宽增大。每个逻辑单元202与缓存单元201均可以同时进行数据的运算，提高了智能芯片的计算速度。各个所述逻辑单元202可以被分配执行不同的计算功能，例如部分逻辑单元202用于进行计算，部分逻辑单元202用于进行训练；而针对逻辑单元202的功能和需求，可以为每个逻辑单元202分配具有合适缓存能力的缓存单元201。
[0032]
所述存储模块100包括若干存储单元101。所述存储单元101包括：dram存储阵列、pcram存储阵列、mram存储阵列、rram存储阵列、sram存储阵列、nor存储阵列、nand存储阵列以及fram存储阵列中的任意一种或几种存储阵列，用于存储需要被计算的数据，例如来自外部传感器输出的数据。
[0033]
请参考图1c，所述存储单元101与所述缓存单元201一一对应连接，构成神经网络芯片的节点。
[0034]
每个节点包括一个逻辑单元202、一个缓存单元201以及一个存储单元101。在对数据进行计算时，可以先将存储单元101内的数据存入缓存单元201内，再由逻辑单元202读取缓存单元201内的数据，进行计算。同样，在写入数据时，逻辑单元202先将待写入的数据写入缓存单元201内之后，再通过所述缓存单元201写入存储单元101内。
[0035]
由于所述缓存单元201的数据传输效率高，通过所述缓存单元201进行数据的预读取和预写入，能够有效提高所述逻辑单元202与所述存储单元101之间的数据传输效率，以及芯片的计算效率。
[0036]
在其他具体实施方式中，至少部分不同节点之间还可以通过总线进行连接，以利于不同节点之间的数据交互。
[0037]
请参考图2，为本发明另一具体实施方式的神经网络智能芯片的构架示意图。
[0038]
该具体实施方式中，所述神经网络芯片的每个节点包括一个逻辑单元402、一个缓存单元401以及两个存储单元301。每个逻辑单元402可以读取一个或两个存储单元301内的数据，进行计算。
[0039]
每个节点的两个存储单元301内通常可以分别存储不同类型的数据，例如分别用于存储不同传感器的传感数据。
[0040]
可以通过软件控制所述逻辑单元402、缓存单元401读取其中一个或两个存储单元301内的数据，各个节点可以根据不同需要进行调整，具有更强的适用性。在一个具体实施方式中，其中一个存储单元301用于向所述逻辑单元402提供待计算的数据，而另一个存储单元301用于存储经逻辑单元402计算后得到的数据。
[0041]
在其他具体实施方式中，单个缓存单元401也可以同时连接至三个或以上数量的存储单元301，在实际应用过程中，根据需要，设定用于进行数据存储的存储单元301，以及需要读取的存储单元301。
[0042]
本发明的神经网络智能芯片可以应用于多种数据存储以及计算需求，无需根据不同的计算需求，重新设计芯片架构。
[0043]
请参考图3，为本发明另一具体实施方式的神经网络智能芯片的构架示意图。
[0044]
在其他具体实施方式中，神经网络智能芯片的每个节点均包括两个逻辑单元602，与所述两个逻辑单元602对应连接的两个缓存单元601，以及同时连接至两个缓存单元601的一个存储单元501。
[0045]
该具体实施方式中，所述神经网络智能芯片的每个节点，可以通过两个逻辑单元602同时对一个存储单元501内的数据进行计算。所述两个逻辑单元602可以分别采用不同的计算方法。在其他具体实施方式中，也可以通过软件控制，仅采用其中的一个逻辑单元602进行计算。
[0046]
在其他具体实施方式中，每个节点还可以包括三个以上的逻辑单元602以及对应的三个以上的缓存单元601，还可以包括两个以上的存储单元501。可以根据不同的需求，通过软件控制其中至少一个逻辑单元602及其对应的缓存单元601以及至少一个存储单元501工作。
[0047]
同一神经网络智能芯片的不同节点还可以采用不同的架构，以满足芯片功能的需求。
[0048]
本发明的神经网络智能芯片包括多个节点，计算模块从对应的存储模块之间进行数据传输，可以提高存储模块与计算模块之间的数据传输带宽，从而提高芯片计算能力。且本发明的神经网络智能芯片的架构可以适用于不同类型的计算需求，具有较高的适用性。
[0049]
请参考图4，为本发明一具体实施方式的神经网络智能芯片的结构示意图。
[0050]
该具体实施方式中，所述存储模块的若干存储单元411形成于存储基底410内，所述存储基底410为单层或多层堆叠连接的基底。
[0051]
所述计算模块包括若干计算单元421，每个计算单元421内包括对应连接的逻辑单元和缓存单元(图中未区分示出)。所述若干逻辑单元和所述若干缓存单元形成于同一逻辑基底420内。在该具体实施方式中，为了便于理解，所述逻辑基底420内的计算单元421的划分为按照功能的划分示意，而非实际结构区域的划分。在实际的逻辑基底420内，所有逻辑单元形成于基底的同一区域内，所有缓存单元形成于所述逻辑基底内，位于所述逻辑单元的一侧或两侧。通过所述逻辑基底420内的互连电路实现逻辑单元与缓存单元之间的对应电连接。在其他具体实施方式中，所述逻辑基底还可以为多层堆叠基底，所述逻辑单元和缓存单元分别形成与不同的基底内，相互堆叠，并通过垂直互连，实现逻辑单元与缓存单元之间的对应连接。
[0052]
所述存储基底410与所述逻辑基底420之间堆叠连接，可以减小芯片的面积，提高集成度。
[0053]
在一具体实施方式中，所述存储基底410与所述逻辑基底420内均形成有互连线以及互连柱等互连结构，所述存储基底410与所述逻辑基底420之间通过所述互连结构实现电连接，至少一个存储单元411连接至至少一个缓存单元。
[0054]
在另一具体实施方式中，所述存储基底410与所述逻辑基底420的正面通过混合键合连接，所述存储基底410与所述逻辑基底420正面暴露的互连结构，例如焊垫、金属凸块等，相互之间形成金属键合，而存储基底410与所述逻辑基底420正面的介质层之间形成介质层间键合，在实现所述存储基底410与所述逻辑基底420堆叠键合的同时，通过互连结构之间的金属键合，实现逻辑计算单元421与存储单元411之间的对应连接。
[0055]
在另一具体实施方式中，所述存储基底410与所述逻辑基底420的表面可以均形成
有钝化层，通过两个钝化层间的键合工艺，使得所述逻辑基底420与所述存储基底410之间实现堆叠键合；可以通过贯穿所述存储基底410和/或所述逻辑基底420的深通孔连接结构实现存储单元411与计算单元421之间的对应连接。
[0056]
在另一具体实施方式中，所述存储基底410与所述逻辑基底420中任一基底的背面与另一基底的正面键合连接，所述存储单元411和计算单元421可以通过贯穿所述存储基底410和/或逻辑基底420的深通孔连接结构实现存储单元411与计算单元421之间的对应连接。
[0057]
在其他具体实施方式中，所述智能芯片的逻辑基底420和存储基底410之间还可以一其他键合形式以及互连结构实现堆叠连接，本领域的技术人员可以根据需要，进行合理设计。
[0058]
在另一具体实施方式中，相互连接的计算单元421与存储单元411相互堆叠，分别位于上层和下层，在物理空间上也一一对应；在其他具体实施方式中，也可以根据所述逻辑基底420、存储基底410内合适的布线路径，使得相互连接的计算单元421与存储单元411之间在物理空间上并非相对。
[0059]
当各存储单元411的存储容量不同时，各存储单元411的尺寸也可以有差异；以及不同的逻辑单元和缓存单元之间也可以具有不同的尺寸。神经网络智能芯片的不同节点内可以具有不同的架构。
[0060]
在另一具体实施方式中，所述存储基底410还可以包括多层堆叠连接的存储子基底，可以提高单位面积的存储模块的存储容量，缩小智能芯片的尺寸。不同存储子基底之间通过3d堆叠键合连接，使得每一存储单元411均具备多层子存储块；或者每个存储子基底内均形成有一定数量的存储单元411，以缩小存储模块的面积。
[0061]
在另一具体实施方式中，所述计算模块也可以形成于多层逻辑基底420内，不同逻辑基底420之间通过3d堆叠键合连接，使得每一计算单元421的各电路和器件分布于多层逻辑基底内，再通过键合方式连接，以缩小逻辑基底420的面积。
[0062]
由于所述计算单元421与存储单元411之间通过基底间的互连结构直接连接，可以大大缩小i/o连接长度，大大减少连接电路的功耗。并且，由于集成电路工艺中，互连结构的线宽非常小，计算单元421与存储单元411之间可以形成的连线数量可以非常大，数据接口非常宽，可以实现高带宽数据传输。
[0063]
本发明的具体实施方式还提供一种上述神经网络智能芯片的形成方法。
[0064]
请参考图5，为本发明一具体实施方式的神经网络智能芯片的形成方法的流程示意图。
[0065]
所述神经网络智能芯片的形成方法包括：
[0066]
步骤s101：形成计算模块，所述计算模块包括若干逻辑单元和若干缓存单元，所述逻辑单元和所述缓存单元一一对应连接，所述逻辑单元用于对对应的所述缓存单元进行读/写数据操作。
[0067]
所述逻辑单元包括乘法器、累加器、运算逻辑电路以及锁存器等器件以及电路。所述缓存单元包括sram存储阵列，具有较高的读写效率。
[0068]
在一个具体实施方式中，可以在同一逻辑基底内形成所述若干逻辑单元和所述若干缓存单元；还包括在所述逻辑基底内形成互连电路，所述逻辑单元和缓存单元之间通过
所述的互连电路形成电连接。
[0069]
在另一具体实施方式中，所述逻辑基底还可以为多层堆叠基底，将所述逻辑单元和缓存单元分别形成与不同的基底内，相互堆叠，并通过垂直互连，实现逻辑单元与缓存单元之间的对应连接。
[0070]
在另一具体实施方式中，所述计算模块也可以形成于多层逻辑基底内，不同逻辑基底之间通过3d堆叠键合连接，使得逻辑单元和缓存单元的各电路和器件分布于多层逻辑基底内，再通过键合方式连接，以缩小逻辑基底的面积。
[0071]
步骤s102：形成存储模块，包括若干存储单元。
[0072]
所述存储单元包括：dram存储阵列、pcram存储阵列、mram存储阵列、rram存储阵列、sram存储阵列、nor存储阵列、nand存储阵列以及fram存储阵列中的任意一种或几种存储阵列，用于存储需要被计算的数据，例如来自外部传感器输出的数据。
[0073]
在一个具体实施方式中，所述存储模块形成于单层存储基底内。在另一具体实施方式中，所述存储基底还可以包括多层堆叠连接的存储子基底，可以提高单位面积的存储模块的存储容量，缩小智能芯片的尺寸。不同存储子基底之间通过3d堆叠键合连接，使得每一存储单元均具备多层子存储块；或者每个存储子基底内均形成有一定数量的存储单元，以缩小存储模块的面积。
[0074]
步骤s103：将至少一个所述存储单元与至少一个所述缓存单元对应连接。
[0075]
在一个具体实施方式中，一个存储单元对应连接至一个缓存单元，智能芯片的每个节点包括对应连接的一个存储单元、一个缓存单元以及一个逻辑单元。
[0076]
在另一具体实施方式中，两个存储单元对应连接至一个缓存单元，智能芯片的每个节点包括对应连接的两个存储单元、一个缓存单元以及一个逻辑单元。
[0077]
在另一具体实施方式中，一个存储单元对应连接至两个缓存单元，智能芯片的每个节点包括对应连接的一个存储单元、两个缓存单元以及两个逻辑单元。
[0078]
本领域的技术人员可以根据对智能芯片的功能需求，合理设计每个节点内的存储单元、缓存单元和逻辑单元的比例。且神经网络智能芯片的不同节点还可以分别采用不同的架构，以满足芯片功能的需求。
[0079]
将所述存储基底和逻辑基底堆叠连接，可以减小芯片的面积，提高集成度。
[0080]
在一个具体实施方式中，所述存储基底与所述逻辑基底内均形成有互连线以及互连柱等互连结构，所述存储基底与所述逻辑基底之间通过所述互连结构实现电连接，至少一个存储单元连接至至少一个缓存单元。
[0081]
在另一个具体实施方式中，所述存储基底与所述逻辑基底的正面通过混合键合连接，所述存储基底与所述逻辑基底正面暴露的互连结构，例如焊垫、金属凸块等，相互之间形成金属键合，而存储基底与所述逻辑基底正面的介质层之间形成介质层间键合，在实现所述存储基底与所述逻辑基底堆叠键合的同时，通过互连结构之间的金属键合，实现逻辑单元与存储块之间的对应连接。
[0082]
在另一具体实施方式中，所述存储基底与所述逻辑基底的表面可以均形成有钝化层，通过两个钝化层间的键合工艺，使得所述逻辑基底与所述存储基底之间实现堆叠键合；可以通过贯穿所述存储基底和/或所述逻辑基底的深通孔连接结构实现存储单元与计算单元之间的对应连接。
[0083]
在另一具体实施方式中，所述存储基底与所述逻辑基底中任一基底的背面与另一基底的正面键合连接，所述存储单元和计算单元可以通过贯穿所述存储基底和/或逻辑基底的深通孔连接结构实现存储单元与计算单元之间的对应连接。
[0084]
在其他具体实施方式中，所述智能芯片的逻辑基底和存储基底之间还可以一其他键合形式以及互连结构实现堆叠连接，本领域的技术人员可以根据需要，进行合理设计。
[0085]
在另一具体实施方式中，相互连接的计算单元与存储单元相互堆叠，分别位于上层和下层，在物理空间上也一一对应；在其他具体实施方式中，也可以根据所述逻辑基底、存储基底内合适的布线路径，使得相互连接的计算单元与存储单元之间在物理空间上并非相对。
[0086]
当各存储单元的存储容量不同时，各存储单元的尺寸也可以有差异；以及不同的逻辑单元和缓存单元之间也可以具有不同的尺寸。神经网络智能芯片的不同节点内可以具有不同的架构。
[0087]
由于所述计算单元与存储单元之间通过基底间的互连结构直接连接，可以大大缩小i/o连接长度，大大减少连接电路的功耗。并且，由于集成电路工艺中，互连结构的线宽非常小，计算单元与存储单元之间可以形成的连线数量可以非常大，数据接口非常宽，可以实现高带宽数据传输。
[0088]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。