×
img

源达信息:半导体行业研究:推理算力需求持续增长,ASIC端侧应用前景广阔

发布者:wx****2f
2025-03-21
1 MB 13 页
半导体
文件列表:
源达信息:半导体行业研究:推理算力需求持续增长,ASIC端侧应用前景广阔.pdf
下载文档
推理算力需求扩容 近年来大模型持续迭代,大模型参数规模总体呈现增加趋势,参数增加带动算力需求扩容。ChatGPT3.5加速了生成式人工智能的商业化进程,实现注册用户数量破亿仅耗时两个月,微软、谷歌等科技巨头纷纷接入,之后大模型热度持续火爆,带动算力需求激增。DeepseekR1问世推动大模型平价化,降低了大模型开发成本,利于为下游端侧和应用侧打开市场空间,下游爆发同样将催生大量算力需求,并推动算力需求由训练端向推理端转移。据IDC预测,推理服务器的工作负载占比预计由2020年的51.5%逐年增加至2026年的62.2%,中国人工智能服务器工作负载结构中的推理算力占比总体呈现增加趋势。 Deepseek推动大模型平价化,端侧,应用侧商业化进程有望提速 通过一系列算法优化,Deepseek-V3相较于同类模型,训练成本大幅下降,完成训练仅耗时不到两个月,按H800芯片算力测算,Deepseek-V3预训练阶段的训练时长为266,4万GPU小时,上下文扩展训练耗时11.9万GPU小时,后训练阶段耗时5,000GPU小时,假设H800每小时的租赁价格为2美元,则模型的总训练成本为557.6万美

加载中...

已阅读到文档的结尾了

下载文档

网友评论>