信达证券：电子行业专题研究：四问四答，剖析算力产业链价值潜力

Q：GPT进化历程]有何启示？A：我们认为GPT进化历程有力证明了“大数据+大参数”具有可行性。Transformer架构在2017年被提出，在捕获长序列语义特征方面的优势迅速让其成为了随后数年间NLP领域的领头羊。除了注意力机制被广泛使用外，基于Transformer架构decoder发展出GPT家族，基于encoder发展出BERT系列。为了充分利用未经标注的大量语料，OpenAI创造性地让模型在预训练之后便直接进行推理，这种方式在GPT-3上取得了成功。随后，OpenAI引入强化学习，避免GPT生成不合乎人类价值观甚至没有逻辑的答案。在GPT的迭代中，模型的规模越来越大，而性能也在显著提升。GPT-4在许多考试中都取得了八十分位的成绩，相当于一个优秀的人类学生。同时，在多模态方面的能力也为未来指明了方向。“大参数+大数据”有何优越？演进路线未来是否持续？A：关于大模型的好处：在论文《ScalingLawsforNeuralLanguageModels》中，研究者总结出模型的损失（Loss）与计算量、模型规模、参数规模三个变量强相关，并且在其他两个变量恒定下，Loss与该变量呈现幂