×
img

华鑫证券:计算机行业点评报告:英伟达:重视AI推理计算,发布RubinCPX芯片

发布者:wx****58
2025-09-28
262 KB 4 页
互联网 华鑫证券
文件列表:
华鑫证券:计算机行业点评报告:英伟达:重视AI推理计算,发布RubinCPX芯片.pdf
下载文档
事件 英伟达于9月9日宣布其BlackwellUltra计算平台在MLPerfDebut测试中创下新的AI推理速度纪录。同日,英伟达发布了专门针对长上下文推理任务设计的RubinCPX芯片。 投资要点 GB300服务器创下AI推理速度记录,分离式推理成为重要方向 大模型发展对计算推理速度提出更高要求,英伟达算力系统具备领先表现。随着大语言模型参数量越来越大,且在推理过程中需要产生很多中间推理过程的token,对算力硬件的推理能力提出了更高要求。近期英伟达对其最新的基于BlackwellUltra架构的算力系统(GB300NVL72服务器)采用MLPerfInferencev5.1测试标准,对DeepsSeek-R1、Llama3.1、Whisper等流行开源AI模型的推理速度进行了测试,结果显示,GB300服务器在每GPU每秒生成token数量上创下新纪录,大幅领先公司此前的DGXH200和GB200服务器。 分离式推理成为重要方向,能够进一步增强AI推理速度。英伟达高度重视分离式推理的架构,在将GB200服务器中的16块GPU用于生成、56块GPU用于上下文处理之后,能够进一步提升服

加载中...

已阅读到文档的结尾了

下载文档

网友评论>