文件列表:
华福证券:算力专题研究二:从训练到推理:算力芯片需求的华丽转身.pdf |
下载文档 |
资源简介
>
投资要点:
推理算力:算力芯片行业的第二重驱动力
我们在此前外发报告《如何测算文本大模型AI训练端算力需求?》中,对未来三年AI训练卡需求持乐观态度。我们认为,推理侧算力对训练侧算力需求的承接不意味着训练需求的趋缓,而是为算力芯片行业贡献第二重驱动力。当前推理算力市场已然兴起,24年AI推理需求成为焦点。据Wind转引英伟达FY24Q4业绩会纪要,公司2024财年数据中心有40%的收入来自推理业务。如何量化推理算力需求?与训练算力相比,推理侧是否具备更大的发展潜力?我们整理出AI推理侧算力供给需求公式,并分类讨论公式中的核心参数变化趋势,以此给出我们的判断。
ScalingLaws&长文本趋势:推理需求的核心驱动力
根据OpenAI《ScalingLawsforNeuralLanguageModels》,并结合我们对于推理算力的理解,我们拆解出云端AI推理算力需求≈2×模型参数量×数据规模×峰值倍数。由ScalingLaws驱动的参数量爆发是训练&推理算力需求共同的影响因素;而对于推理需求,更为复杂的是对数据规模的量化。我们将数据规模(tokens)拆解为一段时间内用户对于大模型的访问
加载中...
已阅读到文档的结尾了