信达证券：电子行业专题研究：AI大模型的长期垄断形成与竞争要素

本期内容提要:GPT模型基于Transformer，它的本质即全局特征提取器。将词向量、位置向量和分段向量相加，便得到了GPT模型的输入表示。在模型的训练过程中，这些向量将通过多层Transformer结构进行处理，以捕捉词汇之间的复杂关系。词向量（TokeEmbeddings）：每个词片段都被映射到一个固定长度的向量，捕捉该词片段的语义信息。这些词向量在模型的预训练过程中学习得到。位置向量（PositionalEmbeddings）：GPT使用固定长度的位置向量，用于捕捉词片段在输入序列中的位置信息。这些位置向量与词向量相加，生成包含位置信息的输入表示。分段向量（SegmenEmbeddings）：GPT-2不使用分段向量，但在GPT-3及BERT等其他模型中，它们用于区分不同的输入段。模型的训练就是寻找这些向量之间存在的位置关系，以发现语言作为知识的载体，其本身所蕴含何种数学相关性。提升参数量=提升性能、提升泛化能力，长期垄断局面可能形成：从论文研究来看，参数量的提升有助于构建语言预测模型的精确度，同时提高泛化能力。泛化能力的提升意味着一个参数量超级庞大的大模型，其在垂直细分领域的