清华五道口：研究报告【2024年第18期】LLM时代小模型的应用潜力与挑战

大语言模型在自然语言处理领域取得了显著成就。 然而，由于其高昂的成本和资源消耗，其商业化应用仍处于早期 阶段。相比之下，小语言模型凭借较低的训练成本和较小的计算 资源需求等优势，展现出很大的潜力。本研究通过分析国内外小 模型的发展现状与具体案例探讨了小模型的应用潜力与面临的 挑战。研究发现：（1）小模型体型虽小但功能强大，具有成本优 势；（2）我国小模型在专业领域中的表现能够超越国外通用模型， 同时综合能力大幅提升，具有技术创新性；（3）由于大模型对算力资源的高需求，我国在资源与技术受限的情况下发展小模型， 能够助力我国在全球 AI 竞赛中脱颖而出。本文为我国 AI 行业发 展提供了战略方向。