具有全带宽扩展的网络系统的制作方法

本发明涉及一种网络拓朴架构，更具体的涉及一种设计用于人工智能(ai)运算，具有全带宽扩展的网络系统。

背景技术：

1、ai芯片旨在加速机器学习任务的计算。它提供了高达数百teraflops(tflops)的强大计算能力。ai芯片中的互连是一项关键技术，它通常由数十或数百个并行处理器组成，而如何优化处理组件和内存之间的数据流是提高ai整体系统效率的一项关键。

2、随着ai训练的计算需求和规模不断增加，对于能够在scale-up和scale-out 2个方向上实现多个图形处理单元(gpu)/通用图形处理单元(gpgpu)之间无缝高速通信的需求也日益强烈。如何充分利用每个gpu/gpgpu的带宽和计算资源，使gpu/gpgpu资源在池化时，达到在scale-up扩展方向和scale-out扩展方向上的gpu/gpgpu都能够被当做一个整体对待，已成为亟待解决的问题。

技术实现思路

1、本申请的一实施例涉及一种具有全带宽扩展的网络系统。具有全带宽扩展的网络系统包括多个图形处理单元扩展装置及多个第二级路由单元。多个图形处理单元扩展装置各包括多个图形处理单元以及多个第一级路由单元，多个第二级路由单元各耦合至所述多个图形处理单元扩展装置。其中多个第一级路由单元中每一者皆包括用于耦合至所述多个图形处理单元的第一数目个端口以及用于耦合至所述多个第二级路由单元的第二数目个端口，且其中所述第二数目为所述第一数目的40％至100％。

2、本申请的另一实施例涉及一种用于ai训练的网络系统，其包括多个图形处理单元扩展装置、多个第二级路由单元、及第一内部连接链路。多个图形处理单元扩展装置各包括多个图形处理单元以及多个第一级路由单元，多个第二级路由单元各耦合至多个图形处理单元扩展装置。其中所述第一内部连接链路经由所述多个第一级路由单元中的一者以及所述多个第二级路由单元中的第一群组耦合至所述多个图形处理单元扩展装置的所述多个图形处理单元，且其中所述多个第一级路由单元的每一者包含多个用于耦合所述第一级路由单元的两个端口的直接链路。

3、本申请的实施例提出了一种新颖的网络拓朴架构，其包含了既能满足业务需求，又易于扩展的路由单元(switch)架构，使每个gpu/gpgpu的带宽都能够被充分利用，最终使在scale-up和scale-out 2个方向上扩展的gpu/gpgpu在执行ai运算时能够被当做一个整体对待。

技术特征：

1.一种具有全带宽扩展的网络系统，其特征在于，包括：

2.如权利要求1所述的网络系统，其特征在于：

3.如权利要求1所述的网络系统，其特征在于，包括：

4.如权利要求3所述的网络系统，其特征在于：

5.如权利要求1所述的网络系统，其特征在于：

6.如权利要求1所述的网络系统，其特征在于：

7.如权利要求5所述的网络系统，其特征在于：

8.如权利要求5所述的网络系统，其特征在于：

9.如权利要求6所述的网络系统，其特征在于：

10.如权利要求1所述的网络系统，其特征在于：

11.一种用于ai训练的网络系统，其特征在于，包括：

12.如权利要求11所述的网络系统，其特征在于：

13.如权利要求11所述的网络系统，其特征在于，更包括：

14.如权利要求13所述的网络系统，其特征在于：

15.如权利要求11所述的网络系统，其特征在于：

16.如权利要求11所述的网络系统，其特征在于：

17.如权利要求15所述的网络系统，其特征在于：

18.如权利要求11所述的网络系统，其特征在于：

19.如权利要求11所述的网络系统，其特征在于：

20.如权利要求11所述的网络系统，其特征在于：

技术总结本申请揭露一种具有全带宽扩展的网络系统以及用于AI训练的网络系统。具有全带宽扩展的网络系统包括多个图形处理单元扩展装置及多个第二级路由单元。多个图形处理单元扩展装置各包括多个图形处理单元以及多个第一级路由单元，多个第二级路由单元各耦合至所述多个图形处理单元扩展装置。其中多个第一级路由单元中每一者皆包括用于耦合至所述多个图形处理单元的第一数目个端口以及用于耦合至所述多个第二级路由单元的第二数目个端口，且其中所述第二数目为所述第一数目的40％至100％。技术研发人员：毛金奎,陆叶,陈文强,吴鹏飞受保护的技术使用者：平头哥（上海）半导体技术有限公司技术研发日：技术公布日：2024/7/23