卷积神经网络中用于稀疏张量的灵活加速器的制作方法

技术特征：
1.一种装置，所述装置包括：张量计算集群，所述张量计算集群包括多个张量计算单元以处理机器学习应用程序中的多个子特征映射图；张量存储器集群，所述张量存储器集群包括多个张量特征映射图存储器单元以存储所述多个子特征映射图；和电路，所述电路用于：将输入特征映射图划分为所述多个子特征映射图，使得所述多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值；以及将所述多个子特征映射图中的每个子特征映射图分派给所述多个张量计算单元中的一个张量计算单元和所述多个张量特征映射图存储器单元中的一个张量特征映射图存储器单元以用于并行处理。2.根据权利要求1所述的装置，其中所述多个张量特征映射图存储器单元中的每个张量特征映射图存储器单元连接到所述多个张量计算单元中的一个张量计算单元，使得所述电路发送所述多个子特征映射图中的第一子特征映射图，所述第一子特征映射图被分派给所述多个张量计算单元中的第一张量计算单元并且将存储在所述多个张量特征映射图存储器单元中与所述第一张量计算单元相关联的第一张量特征映射图存储器单元中。3.根据权利要求1至2中任一项所述的装置，其中所述张量存储器集群还包括用于存储核矩阵的张量权重存储器。4.根据权利要求3所述的装置，其中所述张量权重存储器包括用于存储所述核矩阵并将所述核矩阵发送到所述张量计算集群的多个缓冲器。5.根据权利要求1至4中任一项所述的装置，其中所述多个张量特征映射图存储器单元中的每个张量特征映射图存储器单元包括多个缓冲器、用于在所述多个缓冲器中写入所述多个子特征映射图的写入开关，以及用于所述多个缓冲器读取所述多个子特征映射图的读取开关。6.根据权利要求5所述的装置，其中所述多个缓冲器包括用于存储所述多个子特征映射图中的至少一个子特征映射图的数据值的第一缓冲器和用于存储与所述数据值对应的索引值的第二缓冲器。7.根据权利要求1至6中任一项所述的装置，其中为了将所述输入特征映射图划分为所述多个子特征映射图，所述电路：将所述输入特征映射图切分为预先确定数量的初始划分区；以及重组所述初始划分区中的至少一些初始划分区，使得所述初始划分区中的每个初始划分区在所述重组之后满足所述预先确定的阈值。8.根据权利要求7所述的装置，其中所述初始划分区的所述预先确定的数量基于所述多个张量计算单元的数量。9.根据权利要求7所述的装置，其中所述电路通过从相邻初始划分区向第一初始划分区重新分配行和/或列来重组所述初始划分区中的至少一些初始划分区。10.根据权利要求1至9中任一项所述的装置，其中所述多个子特征映射图中的第一子特征映射图与所述多个子特征映射图中的第二子特征映射图具有不同的尺寸。11.根据权利要求1至10中任一项所述的装置，其中所述多个张量计算单元中的每个张
量计算单元包括多个乘法器，并且其中所述多个乘法器中的每个乘法器计算所述多个子特征映射图中的第一子特征映射图的数据值和来自核矩阵的权重值之间的乘积。12.根据权利要求1至10中任一项所述的装置，其中所述多个张量计算单元中的每个张量计算单元一次处理处理所述多个子特征映射图中的一个子特征映射图以生成输出子特征映射图，并且其中所述电路组合来自所述多个张量计算单元中的每个张量计算单元的所述输出子特征映射图，以获得针对所述输入特征映射图的输出特征映射图。13.一种方法，所述方法包括：由机器学习应用程序中的加速器将输入特征映射图划分为多个子特征映射图，其中所述多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值；由所述加速器将所述多个子特征映射图中的每个子特征映射图分派给张量计算集群的多个张量计算单元中的一个张量计算单元，以并行处理所述多个子特征映射图中的每个子特征映射图；由所述加速器处理所述多个子特征映射图中的在所述多个张量计算单元中的所述被分派的张量计算单元中的每个子特征映射图，以从所述多个张量计算单元中的每个张量计算单元生成输出子特征映射图；以及由所述加速器组合来自所述多个张量计算单元中的每个张量计算单元的所述输出子特征映射图，以生成针对所述输入特征映射图的输出特征映射图。14.根据权利要求13所述的方法，其中将所述输入特征映射图划分为所述多个子特征映射图包括：将所述输入特征映射图切分为预先确定数量的初始划分区，其中所述初始划分区的所述预先确定的数量基于所述多个张量计算单元的数量；以及重组所述初始划分区中的至少一些初始划分区，使得所述初始划分区中的每个初始划分区在所述重组之后满足所述预先确定的阈值。15.根据权利要求13至14中任一项所述的方法，其中当满足所述预先确定的阈值时，所述多个子特征映射图中的每个子特征映射图包括基本上类似数量或百分比的非零值，并且所述多个子特征映射图中的至少一些子特征映射图与所述多个子特征映射图中的其他子特征映射图具有不同的尺寸。

技术总结
本发明公开了一种装置，该装置包括：张量计算集群，该张量计算集群具有多个张量计算单元以处理机器学习应用程序中的多个子特征映射图；和张量存储器集群，该张量存储器集群具有多个张量特征映射图存储器单元以存储该多个子特征映射图。该装置还包括电路，该电路用于将输入特征映射图划分为该多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值，并且将该多个子特征映射图中的每个子特征映射图分派给该多个张量计算单元中的一个张量计算单元和该多个张量特征映射图存储器单元中的一个张量特征映射图存储器单元以用于并行处理。张量特征映射图存储器单元以用于并行处理。张量特征映射图存储器单元以用于并行处理。


技术研发人员：K
受保护的技术使用者：西部数据技术公司
技术研发日：2020.05.29
技术公布日：2022/7/10