文件列表:
华安证券:计算机深度报告:ChatGPT引发的大模型时代变革.pdf |
下载文档 |
资源简介
>
主要观点:ChatGPT带来大模型时代变革,数据要素重要性提升ChatGPT是由OpenAI研发的一种语言AI模型,其特点在于使用海量语料库来生成与人类相似的反应。初代GPT模型参数1.17亿,GPT2模型、GPT3模型参数分别达到15亿、1750亿。不断提升的参数量级,使得ChatGPT3当前已经能够应用在商业、研究和开发活动中。当前此类参数体量庞大的模型,成为各大科技厂商研发重点。大模型的基础为高质量大数据。ChatGPT的前身GPT-3就使用了3,000亿单词、超过40T的数据。此类大数据基础的前提为三部分1)有效场景下的采集数据;2)大数据的存储、清洗和标注;3)数据质量检验。大模型发展之下,算力与网络设施建设成为刚需算力:ChatGPT类人工智能需要更充足的算力支持其处理数据,带来更多高性能的算力芯片需求。英伟达表示,GPT-3需要512颗V100显卡训练7个月,或者1024颗A100芯片训练一个月。2012年以来,AI训练任务中的算力增长(所需算力每3.5月翻一倍)已经超越摩尔定律(晶体管数量每18月翻一倍)。网络设施:以微软Azure为例,其AI基础设施由互联的英伟达Am
加载中...
本文档仅能预览20页