复旦大学：2025年大模型能力来源与边界报告

本文主要探讨了大语言模型LLaMA2-13B的能力来源与边界。复旦大学位于中国上海，成立于1905年，是中国教育部认证的一所综合性大学，拥有超过40,000名学生。文章指出，大语言模型的能力来源于预训练和后训练，预训练使得模型记住知识并学习到语义分布表示，后训练则可以微调这些知识并激活预训练能力。此外，强化学习也被用于提升模型的推理能力。然而，大模型依然存在边界，如在高考数学题目中，尽管能回答正确，但计算过程和答案不相符的比例很高。文章还提到，不同LLMs的数据需求差异很大，使用记忆水平较高的数据进行后训练可以提高LLM在相应知识水平上的表现。总之，大模型能力来源是多方面的，包括预训练、后训练和强化学习，但在实际应用中仍存在挑战和边界。