文件列表:
平安证券:计算机:微软开源Deep Speed Chat,将加快大模型应用在各行业的落地.pdf |
下载文档 |
资源简介
>
事项:当地时间4月12日,微软宣布开源DeepSpeedChat,帮助用户轻松训练类ChatGPT等大语言模型。平安观点:DeepSpeedChat的开源,将显著降低用户获得大模型的成本。DeepSpeedChat是基于微软DeepSpeed深度学习优化库开发而成,具备训练、强化推理等功能,还使用了RLHF(人工反馈机制的强化学习)技术,可将训练速度提升15倍以上,成本却大幅度降低。根据微软公布的数据,使用DeepSpeedChat训练,在微软Azure云上,以8XA100-80GB的GPU集群配置,训练一个130亿参数的大模型,只需9小时就能完成训练,训练花费约290美元。以64XA100-80GB的GPU集群配置,训练一个130亿参数的大模型,只需1.25小时就能完成训练,训练花费约320美元;而训练一个1750亿参数的大模型,也只需要20小时,训练花费约5120美元。DeepSpeedChat的开源,能大幅提升大模型训练速度并降低训练成本,将显著降低大模型的获得成本。DeepSpeedChat的开源,将加速大模型在千行百业的应用落地。获得成本的显著降低,将加快大模型产品在企业端以
加载中...
已阅读到文档的结尾了