清华大学唐杰：从千亿模型到ChatGPT的一点思考

发布者：wx****ec

2023-04-25

14 MB 67 页

人工智能（AI）清华大学 ChatGPT

文件列表：

清华大学唐杰：从千亿模型到ChatGPT的一点思考.pdf

下载文档

资源简介

清华和国家超算济南中心、智谱联合研发了大模型GLM-130B普惠模型，Attention层的Softmax采用单精度，1%的损失极大稳定了训练，训练成本由GPT-3的460万美元降至600万元。该模型自2022年8月发布以来，收到53个国家369个研究机构的使用需求。Stanford报告的世界主流大模型评测：亚洲唯一入选模型，准确性、恶意性与GPT-3持平，鲁棒性和校准误差在所有模型中表现最佳。

加载中...

本文档仅能预览20页

继续阅读请下载文档