×
img

开源证券:电子:推理专用芯片RubinCPX重磅发布,产业链迎来新机遇

发布者:wx****8e
2025-09-12
357 KB 3 页
半导体 开源证券
文件列表:
开源证券:电子:推理专用芯片RubinCPX重磅发布,产业链迎来新机遇.pdf
下载文档
英伟达发布推理专用芯片RubinCPX,成本效益较高 AI推理过程包含两个重要阶段:Prefill阶段与Decode阶段,这两个阶段对AI基础设施的需求存在本质差异。其中,Prefill阶段更多强调算力,其需要通过高吞吐量处理来接收并分析大量输入数据,进而生成首个token输出结果,可以理解为在拥有?量昂贵且带宽很?的HBM的芯片上运行Prefill是?种浪费;Decode阶段强调内存带宽,需依赖高速内存传输及NVLink等高速互联方案,以维持逐推理单元(token-by-token)的输出性能。 英伟达专为大规模上下文AI模型设计的GPURubinCPX重磅发布,单芯片的RubinCPX在设计上更强调计算FLOPS而非内存带宽,其可提供20PFLOPS的FFP4密集计算能力,但只有2TB/s的内存带宽,还配备128GB的GDDR7内存,与VR200相比这是较少且更便宜的内存,从HBM切换到更便宜的GDDR7内存,使每GB成本降低超过50%。 RubinCPX带来Rubin家族新架构,产业链迎来新机遇 RubinCPX的推出将VR200服务器机架扩展为三种版本: (1)VR200NVL

加载中...

已阅读到文档的结尾了

下载文档

网友评论>