文件列表:
国信证券:人工智能行业点评:ChatGPT对算力的需求究竟如何?.pdf |
下载文档 |
资源简介
>
事项:2022年11月30日人工智能实验室OpenAI发布全新聊天机器人模型ChatGPT,其是一款人工智能技术驱动的自然语言处理工具。自从ChatGPT推出以来,受到市场广泛关注,当前每日用户超过1000万人。评论:Chatgpt成本主要可以拆分成训练和推理两个阶段。人工智能主要分为计算机视觉和自然语言处理两大基础方向,当前自然语言处理类任务基于大型语言模型(LLM,LargeLanguageModel)演进出了最主流的两个主要方向,BERT(基于Transformer的双向编码器表示技术)和GPT(基于Transformer生成预训练技术),Google属于BERT技术方向,微软投资的OpenAI属于GPT技术方向。从计算过程上,人工智能计算主要可以分为模型训练与推理两个阶段,针对大语言模型LLM更是如此,随着参数与数据规模的不断增大,将带动拉动算力需求的快速增长。“token”是当前语言类模型的数据单位。当前的自回归语言模型是根据token来作为单位进行数据处理和计算,分词(tokenization)就是将句子、段落、文章这类型的长文本分解为以token为单位的数据结构,把文本分
加载中...
已阅读到文档的结尾了