×
img

东吴证券:电子行业点评报告:百万Token时代来临,RubinCPX重塑推理架构与产业链

发布者:wx****fd
2025-09-10
442 KB 2 页
半导体 东吴证券
文件列表:
东吴证券:电子行业点评报告:百万Token时代来临,RubinCPX重塑推理架构与产业链.pdf
下载文档
投资要点 RubinCPX切入百万Token痛点,重塑推理架构基础。过去一年,随着生成式AI进入规模化落地阶段,行业对“长上下文”的需求快速上升。无论是企业级知识库问答、代码生成,还是多模态长视频生成,均需要模型在极大输入序列下保持推理准确性与计算效率。然而,现有GPU在应对超长上下文时普遍存在内存带宽瓶颈与计算冗余,导致算力利用率不足。英伟达于2025年9月发布的RubinCPX,正是为解决这一痛点而生,标志着NVIDIA将推理场景的架构优化推向新高度。RubinCPX是一款专为“百万级上下文”推理场景设计的专用加速处理器(ContextualProcessingeXtension)。其设计目标是通过硬件与架构优化,提升对超长上下文场景的吞吐与能效,并在机架级系统,如VeraRubinNVL144CPX中与RubinGPU及VeraCPU协同构成面向大规模推理的整体平台。 上下文与生成任务分工,实现算力利用率与效率提升。在大模型推理过程中,可大体分为两类任务:一是“上下文分析”,即对超长输入序列进行编码、筛选与压缩,以便后续生成环节调用;二是“生成任务”,即基于上下文信息进行逐Tok

加载中...

已阅读到文档的结尾了

下载文档

网友评论>