微软Microsoft：2025年大语言模型（LLM）上手指南报告

虽然近些年才逐渐兴起，但 LLM 并非新技术。早在 20 世纪 90 年代，就已经出现了以信息论和概率论为基础的统计语言模 型。随着深度学习技术的诞生和崛起，以及计算机硬件算力飞速提升，这种模型变得愈加复杂，进一步催生出基于循环神 经网络 (RNN) 和长短期记忆网络 (LSTM) 的自然语言处理技术。 2018 年，基于 Transformer 的双向编码器表示技术 (BERT) 诞生，这标志着预训练语言模型时代正式到来。通过用大量文本 进行预训练，然后围绕特定任务进行微调，BERT 显著提高了多种自然语言处理 (NLP) 任务的性能。随后，OpenAI 发布的 GPT(Generative Pre-trained Transformer，生成式预训练 Transformer) 系列模型及广为人知的 ChatGPT，进一步将生成式 AI 技术带到了每个人面前。