文件列表:
中国银河:人工智能动态点评:DeepSeek开源周:开源模式有望重塑市场格局.pdf |
下载文档 |
资源简介
>
核心观点
事件:DeepSeek于2025年2月24日正式启动“开源周”,计划在2月24日-28日连续5天每天开源一个项目。
Day1-FlashMLA:动态分配资源,优化算力使用FlashMLA是专为英伟达HopperGPU优化的高效MLA解码内核,专为处理可变长度序列设计。在同时处理长文本和短文本时,它可以精准地为不同长度的文本分配恰当的算力。
Day2-DeepEP:MoE高效运转,提高整体效率DeepEP是首个用于MoE(混合专家模型)训练和推理的开源EP通信库,能够让MoE模型各部分间沟通更快、消耗更少,提升了整体运行效率。
Day3-DeepGEMM:通用矩阵乘法性能优化DeepGEMM是一个矩阵乘法加速库,能够为V3/R1的训练和推理提供支持。其在各种矩阵形状上的性能与专家调优的库相当,在某些情况下更优,且安装时无需编译。
Day4-DualPipe&EPLB:开源优化并行策略DualPipe是一种用于V3/R1训练中计算与通信重叠的双向管道并行算法,将硬件资源利用率提升超30%。EPLB则是一种针对V3/R1的专家并行负载均衡器,基于MoE架构,优化GPU间的负载分布,
加载中...
已阅读到文档的结尾了