国盛证券：为什么训练需要如此多算力

Scaling-law 仍为基础定律，大模型量级快速扩张。1）7 月 8 日，Anthropic 表示，其目前正在开发的人工智能模型的训练成本高达 10 亿美元，且未来 三年内，AI 模型的训练成本将上升到 100 亿美元甚至 1000 亿美元，引起广 泛关注。2）我们认为，大模型训练成本的快速扩张仍然反映了 Scaling-law 的基础原理，即当增加模型大小、数据集大小以及用于训练的计算量时，语 言模型的性能会逐渐提升，且提升效果遵循幂律关系。3）而幂律关系也意 味着，增加模型参数量、数据集或计算资源，其边际回报会不断降低。即便 如此，Scaling-law 仍为当前技术路径下的基础定律，全球各大模型规模持 续扩张，GPT4 参数量或已到万亿级别，相比 GPT3.5 提升一个量级。4）我 们认为，对 Scaling-law 的坚持尝试、部分优化，均反映大语言模型仍处于 快速发展的过程中，模型参数量、数据量、计算资源的扩张，都将成为推动 大模型实现更高知识水平的基石。