文件列表:
华鑫证券:计算机行业周报:Llama4多版本参数亮眼,DeepSeek公布推理时Scaling新论文.pdf |
下载文档 |
资源简介
>
投资要点
算力:Llama4多版本参数亮眼,2万亿多模态巨兽重登王座
Meta官宣开源首个原生多模态Llama4,首次采用MoE架构,支持12种语言,首批发布一共两款:第一款是Llama4Scout,规模较小,其共有1090亿参数,17B活跃参数,16个专家,1000万上下文;第二款是Llama4Maverick,规模较大,其共有4000亿参数,17B活跃参数,128个专家,100万上下文。
在大模型LMSYS排行榜上,Llama4Maverick冲上第二(ELO得分1417),仅次于闭源Gemini2.5Pro。Llama4Scout最大亮点在于支持1000万上下文,相当于可以处理20+小时的视频,仅在单个H100GPU(Int4量化后)上就能跑。
在基准测试中,性能超越Gemma3、Gemini2.0Flash-Lite、Mistral3.1。Llama4模型是Llama系列模型中首批采用混合专家(MoE)架构的模型。在MoE模型中,单独的token只会激活全部参数中的一小部分。与传统的稠密模型相比,MoE架构在训练和推理时的计算效率更高,并且在相同的训练FLOPs预算下,能够生成
加载中...
已阅读到文档的结尾了