×
img

东吴证券:AI算力跟踪深度(三):从英伟达的视角看算力互连板块成长性——ScaleUp网络的“ScalingLaw”存在吗?

发布者:wx****d3
2025-08-20
2 MB 34 页
互联网 东吴证券
文件列表:
东吴证券:AI算力跟踪深度(三):从英伟达的视角看算力互连板块成长性——ScaleUp网络的“ScalingLaw”存在吗?.pdf
下载文档
我们认为ScaleUp网络存在ScalingLaw,ScaleUp柜间第二层网络会逐渐出现,光+AEC连接多出与芯片1:9的配比需求,交换机多出与芯片4:1的配比需求,相较ScaleOut网络均倍增: 1.英伟达持续扩大ScaleUp规模:英伟达正通过两大路径持续扩大ScaleUp网络规模。2)提升单卡带宽:NVLink持续迭代,NVLink5.0单卡带宽达7200Gb/s;2)扩大超节点规模:ScaleUp超节点规模不断扩大,从H100NVL8到GH200再到GB200等,NVL72等机柜方案可以提高训推效率,但并不是ScaleUp的上限,NVL72等机柜后续会作为最小的节点(Node)存在,像积木一样在柜与柜之间进一步拼出更大的ScaleUp超节点,届时需要光连接等进行通信。 2.为什么需要ScaleUp网络:“内存墙”问题和AI计算范式演进推动ScaleUp网络升级。“内存墙”:单一大模型的参数量与单卡显存的差距(即模型内存墙)、单卡算力与单卡显存间的差距(即算力内存墙)均逐代放大,通过ScaleUp将显存池化。计算范式:为了提升计算效率,在进行数据并行、流水线并行的同时也采用张

加载中...

本文档仅能预览20页

继续阅读请下载文档

网友评论>

开通智库会员享超值特权
专享文档
免费下载
免广告
更多特权
立即开通

发布机构

更多>>