国泰君安：计算机行业专题研究：MoE与思维链助力大模型技术路线破局

le_Summary] 投资建议：随着 Transformer 架构大模型在算力侧成本攀升，升级迭 代遇到瓶颈，技术路线相关探索有望打造性能更优、应用范围更专 更准的 AI 大模型。推荐标的：科大讯飞、虹软科技、万兴科技、福 昕软件、金山办公、鼎捷软件、紫光股份、浪潮信息，受益标的： 昆仑万维、润达医疗。 巨额算力投入成为技术和效益优化的瓶颈，技术路径破局迫在眉 睫。从效益端看，基于 Transformer 架构的模型在训练计算量（training FLOPs）达到一定量级时，模型性能才出现向上的“拐点”，因此在 大模型训练任务中，算力成为必须的基础性资源。但随着模型越来 越大，算力成本越来越高，成本飙升源于模型复杂度和数据量攀升 对计算资源的需求。Anthropic 首席执行官表示，三年内 AI 模型的 训练成本将上升到 100 亿美元甚至 1000 亿美元。巨额的大模型训 练投入一定程度减缓了技术进步和效益提升，因此技术路径破局尤 为关键。当前 MoE 以及 OpenAI o1 的“思维链”是重要探索实践。