人工智能装置及其人工智能芯片、操作方法和存储介质与流程

本发明涉及一种人工智能(artificial intelligence，ai)，且特别涉及一种人工智能装置及其人工智能芯片、操作方法和机器可读存储介质。

背景技术：

1、在大模型训练过程中，需要用到大量的人工智能芯片进行并行运算。不同人工智能芯片的运算进程往往互不相同。不同进程人工智能芯片间通信的性能和稳定性非常关键。如何实现不同人工智能芯片间的通信，是本领域的诸多技术课题之一。

技术实现思路

1、本发明是针对一种人工智能(artificial intelligence，ai)装置及其人工智能芯片、操作方法和机器可读存储介质，以使不同人工智能芯片间的得以相互通信。

2、在根据本发明的实施例中，所述人工智能装置包括多个人工智能芯片，其中所述多个人工智能芯片包括第一人工智能芯片以及第二人工智能芯片。第二人工智能芯片耦接至第一人工智能芯片。响应于第一人工智能芯片向第二人工智能芯片发出自带有中间物理地址(intermediate physical address，ipa)的访问请求，第二人工智能芯片将中间物理地址转换为第二人工智能芯片专用的内部存储器的物理地址(physical address，pa)，以及第二人工智能芯片依物理地址访问内部存储器以执行访问请求。

3、在根据本发明的实施例中，所述人工智能芯片包括接口电路、内部存储器以及地址转换电路。接口电路用以向其他芯片建立通讯界面。内部存储器为所述人工智能芯片所专用。内部存储器耦接至所述接口电路。地址转换电路耦接至接口电路和内部存储器。地址转换电路通过接口电路获得来自其他芯片的访问请求自带的中间物理地址。地址转换电路将中间物理地址转换为内部存储器的物理地址给内部存储器。内部存储器依物理地址被访问以执行访问请求。

4、在根据本发明的实施例中，所述操作方法包括：由人工智能芯片的接口电路向其他芯片建立通讯界面，其中接口电路耦接至人工智能芯片的内部存储器，以及内部存储器为人工智能芯片所专用；由人工智能芯片的地址转换电路通过接口电路获得来自其他芯片的访问请求自带的中间物理地址，其中地址转换电路耦接至接口电路和内部存储器；由地址转换电路将中间物理地址转换为内部存储器的物理地址给内部存储器；以及由内部存储器依物理地址被访问以执行访问请求。

5、在根据本发明的实施例中，所述机器可读存储介质用于存储非暂时性机器可读指令。当所述非暂时性机器可读指令由计算机执行时，可以实现所述操作方法。

6、基于上述，人工智能芯片(例如第二人工智能芯片)的地址转换电路将来自其他芯片(例如第一人工智能芯片)的访问请求自带的中间物理地址转换为内部存储器的物理地址给内部存储器。因此虽然其他芯片不能寻址(addressing)人工智能芯片的内部存储器，人工智能芯片可以依据所述其他芯片的访问请求的中间物理地址将内部存储器的对应数据回馈给所述其他芯片。

技术特征：

1.一种人工智能装置，其特征在于，所述人工智能装置包括：

2.根据权利要求1所述的人工智能装置，其特征在于，所述访问请求为读取请求，以及所述第二人工智能芯片从所述内部存储器读取出所述物理地址所对应的目标数据给所述第一人工智能芯片。

3.根据权利要求1所述的人工智能装置，其特征在于，所述第二人工智能芯片将所述中间物理地址转换为所述第二人工智能芯片的内部虚拟地址，以及所述第二人工智能芯片将所述内部虚拟地址转换为所述第二人工智能芯片的所述物理地址。

4.根据权利要求1所述的人工智能装置，其特征在于，所述第二人工智能芯片包括：

5.根据权利要求4所述的人工智能装置，其特征在于，所述访问请求为读取请求，所述内部存储器将所述物理地址所对应的目标数据输出给所述接口电路，以及所述接口电路将所述目标数据回馈给所述第一人工智能芯片。

6.根据权利要求4所述的人工智能装置，其特征在于，所述地址转换电路包括：

7.根据权利要求6所述的人工智能装置，其特征在于，所述中间地址转换电路将所述中间物理地址加上或减去偏移值以生成所述内部虚拟地址。

8.根据权利要求6所述的人工智能装置，其特征在于，所述虚拟地址转换电路包括内存管理单元。

9.一种人工智能芯片，其特征在于，所述人工智能芯片包括：

10.根据权利要求9所述的人工智能芯片，其特征在于，所述访问请求为读取请求，所述内部存储器将所述物理地址所对应的目标数据输出给所述接口电路，以及所述接口电路将所述目标数据回馈给所述其他芯片。

11.根据权利要求9所述的人工智能芯片，其特征在于，所述地址转换电路包括：

12.根据权利要求11所述的人工智能芯片，其特征在于，所述中间地址转换电路将所述中间物理地址加上或减去偏移值以生成所述内部虚拟地址。

13.根据权利要求11所述的人工智能芯片，其特征在于，所述虚拟地址转换电路包括内存管理单元。

14.一种人工智能芯片的操作方法，其特征在于，所述操作方法包括：

15.根据权利要求14所述的操作方法，其特征在于，所述访问请求为读取请求，以及所述操作方法还包括：

16.根据权利要求14所述的操作方法，其特征在于，所述操作方法还包括：

17.根据权利要求16所述的操作方法，其特征在于，所述操作方法还包括：

18.根据权利要求16所述的操作方法，其特征在于，所述虚拟地址转换电路包括内存管理单元。

19.一种机器可读存储介质，用于存储非暂时性机器可读指令，其特征在于，当所述非暂时性机器可读指令由计算机执行时可以实现权利要求14-18任一项所述的操作方法。

技术总结本发明提供一种人工智能装置及其人工智能芯片、操作方法和机器可读存储介质。人工智能芯装置包括第一人工智能芯片以及第二人工智能芯片。第二人工智能芯片耦接至第一人工智能芯片。响应于第一人工智能芯片向第二人工智能芯片发出自带有中间物理地址的访问请求，第二人工智能芯片将中间物理地址转换为第二人工智能芯片专用的内部存储器的物理地址，以及第二人工智能芯片依所述物理地址访问内部存储器以执行第一人工智能芯片的访问请求。技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名受保护的技术使用者：上海壁仞科技股份有限公司技术研发日：技术公布日：2024/7/29