HG海伯高斯：2023大模型方向行业研究报告

大模型的起源可以追溯到 2012 年。当时，深度学习领域取得了两个重要的突破：AlexNet 和 GPU 的应用。AlexNet 是一个包含 5000 万个参数的深度卷积神经网络，它在 ImageNet 图像分类竞赛中取得了很好的成绩。同时，GPU 的应用也为大模型的训练提供了强大 的计算能力。这两个突破为大模型的快速发展奠定了基础。 2017 年，谷歌提出了 Transformer 结构，该结构成为了自然语言处理领域的重要里程 碑。Transformer 结构包含亿级别的参数，具有强大的语言理解能力，为自然语言处理 领域带来了突破性的进展。 随着计算能力的提升和算法的优化，越来越多的公司和机构开始投入到大模型的研究 中。2018 年，脸书推出了 Facebook AI 大模型（又称 ERNIE-Health），该模型包含 33 亿 个参数，用于医疗健康领域的知识问答任务。2019 年，谷歌推出了 Switch Transformer 模型，该模型包含 1.6 万亿个参数，成为了目前最大的 NLP 模型之一。