申港证券：计算机行业研究周报：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析

本周周报我们介绍GPT-4详细参数及英特尔发布Gaudi2加速器相关内容，对大模型及GPU生态进行探讨和展望。与国内大模型产品相比，chatGPT效果依然最优。根据InfoQ数据显示，chatGPT在大模型产品测评中分数最高，综合得分率为77.13%，国内大模型产品文心一言正迅速追赶，在国内大语言模型中位列第一。在这一背景下，市场普遍认为GPT-4的模型架构、基础设施、参数设计等具有一定程度的领先。由于官方并未公布GPT-4的详细参数，业内人士对GPT-4的详细参数进行了推断.参数量：GPT-4的大小是GPT-3的10倍以上，包含1.8万亿个参数；数据集：GPT-4的训练数据集将多个epoch中的token计算在内包含约13万亿个token；训练成本：OpenAI在GPT-4的训练中使用了大约2.15e25的FLOPS，使用了约25,000个A100GPU，训练了90到100天，利用率（MFU）约为32%至36%。假定云端的每个A100GPU的成本大约为每小时1美元，那么单次训练的成本将达到约6300万美元，如果使用约8192个H100GPU进行预训练，用时约为55天左右，成本为215