×
img

中国银河:电子行业行业点评报告:DeepSeek降低制程依赖,带动国产供应链

发布者:wx****1f
2025-02-12
805 KB 2 页
半导体 中国银河
文件列表:
中国银河:电子行业行业点评报告:DeepSeek降低制程依赖,带动国产供应链.pdf
下载文档
事件:截至2月7日,16家国产AI芯片企业(华为异腾、沐曦、天数智芯、摩尔线程、海光信息、壁仞科技、太初元碁、云天励飞、燧原科技、昆仑芯、灵汐科技、鲲云科技、希姆计算、算能、清微智能、芯动力)相继宣布适配或上架DeepSeek模型服务。 DeepSeek通过工程化创新实现降本增效:2025年1月20日,DeepSeek发布了全新的开源推理大模型DeepSeek-R1,震动海内外科技圈。DeepSeek从三个核心角度进行了技术创新,实现了仅用2048块英伟达H800GPU,耗费了557.6万美元就完成GPT-4、Claude-3.5-Sonnet等同等规模的模型训练。同时,在技术评估过程中,DeepSeek-v3的教育类基准测试表现超越了所有的开源模型,在数学领域的所有非CoT模型中也取得了最优性能。1)架构创新:采用了经DeepSeek-V2验证的MLA和DeepSeekMoE技术,并创新性地引入了无辅助损失负载均衡策略。2)高效预训练:设计了专门的FP8训练混合精度框架,以实现训练效率和数值稳定性的最优平衡。开发了DualPipe算法实现高效的流水线并行处理,降低训练过程中的通信开销

加载中...

已阅读到文档的结尾了

下载文档

网友评论>