计算装置及其操作方法与流程

本发明涉及一种人工智能芯片领域的计算装置，且特别涉及一种计算装置及其操作方法。

背景技术：

1、人工智能（artificial intelligence，ai）应用的实现需要通过计算装置获得巨大算力。这些巨大算力源于计算装置内部以硬件实现且为大量的执行单元（executionunit，eu，或称执行核）。每个执行单元可包含多个计算核（compute unit，cu，或称计算单元），例如张量核（tensor core）、矢量核（vector core）和其他计算核。其他计算核例如整数（integer，int）计算核或浮点数（floating point，fp）计算核。通过编程来组织这些各种类型的计算核，执行单元可以支持通用计算、科学计算和神经网络计算。

2、ai芯片可采用单指令多线程（single instruction, multiple thread，simt）方式执行称为线程束（warp）的线程组。线程束是由多个线程（thread）形成的线程组。许多应用于ai芯片的编程可利用执行线程束（warp）来获得高性能。在线程束（warp）层级的编程中，每个线程束（warp）会针对不同数据从头到尾地完成整体数据搬运，并进行其计算。因此，在当前线程束层级的编程及许多计算任务场景中，张量核和矢量核只能分时执行（张量核和矢量核无法并发执行）。

技术实现思路

1、本发明是针对一种计算装置及其操作方法，可使同个执行单元中不同类型的计算核并行执行，进而充分利用计算资源。

2、根据本发明的实施例，计算装置包括多个执行单元、全域缓存以及数据内存访存单元。所述执行单元中的每个包括第一类型计算核、第二类型计算核及共享缓存。数据内存访存单元耦接所述全域缓存及所述执行单元中的所述共享缓存。所述执行单元执行线程组群组，所述线程组群组包括多个线程组，每个线程组包括多个线程。所述多个线程组中的第一线程组通过控制所述数据内存访存单元以在所述全域缓存与所述共享缓存之间传输数据。所述多个线程组中的其他线程组通过所述第一类型计算核与所述第二类型计算核以对位于所述共享缓存中的所述数据进行计算。所述第一线程组的第一运作时间段与所述其他线程组的第二运作时间段有部分相互重叠以并行运行。

3、根据本发明的实施例，所述计算装置包括多个执行单元、全域缓存及数据内存访存单元，所述执行单元中的每个包括第一类型计算核、第二类型计算核及共享缓存，所述数据内存访存单元耦接所述全域缓存及所述执行单元的所述共享缓存。所述计算装置的操作方法包括：通过所述执行单元执行线程组群组，其中所述线程组群组包括多个线程组，每个线程组包括多个线程。执行所述线程组群组包括：执行所述多个线程组中的第一线程组，所述第一线程组通过控制所述数据内存访存单元以在所述全域缓存与所述共享缓存之间传输数据；以及，执行所述多个线程组中的其他线程组，所述其他线程组通过所述第一类型计算核与所述第二类型计算核以对位于所述共享缓存中的所述数据进行计算。所述第一线程组的第一运作时间段与所述其他线程组的第二运作时间段有部分相互重叠以并行运行。

4、基于上述，本发明实施例所述的计算装置及其操作方法通过使每个执行单元执行一个线程组群组，此线程组群组中的第一线程组主要用来传输数据，且其他线程组则通过不同类型的计算核（如，张量核与矢量核）同时地或重叠地对数据进行计算。换句话说，本发明实施例通过使同个执行单元中不同类型的计算核并行执行，进而充分利用计算资源。

技术特征：

1.一种计算装置，其特征在于，包括：

2.根据权利要求1所述的计算装置，其特征在于，所述第一线程组包括第一线程、第二线程以及第三线程，

3.根据权利要求2所述的计算装置，其特征在于，所述第一线程组还包括第四线程，其中所述第四线程是闲置线程。

4.根据权利要求1所述的计算装置，其特征在于，所述第一类型计算核是张量核，所述第二类型计算核是矢量核。

5.根据权利要求4所述的计算装置，其特征在于，所述其他线程组包括第二线程组及第三线程组，

6.根据权利要求1所述的计算装置，其特征在于，所述线程组群组包括n个线程组，n为正整数且n大于等于3，

7.根据权利要求1所述的计算装置，其特征在于，所述数据内存访存单元是张量内存加速器。

8.一种计算装置的操作方法，其特征在于，所述计算装置包括多个执行单元、全域缓存及数据内存访存单元，所述执行单元中的每个执行单元包括第一类型计算核、第二类型计算核及共享缓存，所述数据内存访存单元耦接所述全域缓存及所述执行单元的所述共享缓存，所述操作方法包括：

9.根据权利要求8所述的操作方法，其特征在于，所述第一线程组包括第一线程、第二线程以及第三线程，

10.根据权利要求8所述的操作方法，其特征在于，所述第一类型计算核是张量核，所述第二类型计算核是矢量核，

技术总结本发明提供一种计算装置及其操作方法。计算装置包括多个执行单元、全域缓存以及数据内存访存单元。每个执行单元包括第一类型计算核、第二类型计算核及共享缓存。执行单元执行线程组群组。线程组群组包括多个线程组。线程组中的第一线程组通过控制数据内存访存单元以在全域缓存与共享缓存之间传输数据。线程组中的其他线程组通过第一类型计算核与第二类型计算核以对位于共享缓存中的数据进行计算。第一线程组的第一运作时间段与其他线程组的第二运作时间段有部分相互重叠以并行运行。本发明计算装置及其操作方法可使同个执行单元中不同类型的计算核并行执行，进而充分利用计算资源。技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名受保护的技术使用者：上海壁仞科技股份有限公司技术研发日：技术公布日：2024/7/29