东吴证券:AI算力跟踪深度(三):从英伟达的视角看算力互连板块成长性——ScaleUp网络的“ScalingLaw”存在吗?
文件列表:
东吴证券:AI算力跟踪深度(三):从英伟达的视角看算力互连板块成长性——ScaleUp网络的“ScalingLaw”存在吗?.pdf |
下载文档 |
资源简介
>
我们认为ScaleUp网络存在ScalingLaw,ScaleUp柜间第二层网络会逐渐出现,光+AEC连接多出与芯片1:9的配比需求,交换机多出与芯片4:1的配比需求,相较ScaleOut网络均倍增:
1.英伟达持续扩大ScaleUp规模:英伟达正通过两大路径持续扩大ScaleUp网络规模。2)提升单卡带宽:NVLink持续迭代,NVLink5.0单卡带宽达7200Gb/s;2)扩大超节点规模:ScaleUp超节点规模不断扩大,从H100NVL8到GH200再到GB200等,NVL72等机柜方案可以提高训推效率,但并不是ScaleUp的上限,NVL72等机柜后续会作为最小的节点(Node)存在,像积木一样在柜与柜之间进一步拼出更大的ScaleUp超节点,届时需要光连接等进行通信。
2.为什么需要ScaleUp网络:“内存墙”问题和AI计算范式演进推动ScaleUp网络升级。“内存墙”:单一大模型的参数量与单卡显存的差距(即模型内存墙)、单卡算力与单卡显存间的差距(即算力内存墙)均逐代放大,通过ScaleUp将显存池化。计算范式:为了提升计算效率,在进行数据并行、流水线并行的同时也采用张
加载中...
本文档仅能预览20页