张奇等：2023大规模语言模型 从理论到实践（预览版）

2018 年 Google 的研究团队开创性地提出了预训练语言模型 BERT[1]，该模型在诸多自然语言 处理任务中展现了卓越的性能。这激发了大量以预训练语言模型为基础的自然语言处理研究，也 引领了自然语言处理领域的预训练范式的兴起。然而，尽管这一变革影响深远，但它并没有改变 每个模型只能解决特定问题的基本模式。2020 年，OpenAI 发布了 GPT-3 模型，其在文本生成任务 上的能力令人印象深刻，并在许多少标注（Few-shot）的自然语言处理任务上取得了优秀的成绩。 但是，其性能并未超越专门针对单一任务训练的有监督模型。之后，研究者们陆续提出了针对大 语言模型（Large Language Model，LLM）的提示词（Prompt）学习方法，并在各式各样的自然语 言处理任务中进行了试验，同时也提出了模型即服务范式（Model as a Service，MaaS）概念。然 而，在大部分情况下，这些方法的性能并未明显地超过基于预训练微调范式的模型。所以，这些 方法的影响主要还是局限在自然语言处理的研究人员群体中。