×
img

华西证券:计算机:微软开源Deep Speed Chat,坚定看好算力设施

发布者:wx****58
2023-04-13
626 KB 4 页
互联网 华西证券
文件列表:
华西证券:计算机:微软开源Deep Speed Chat,坚定看好算力设施.pdf
下载文档
事件概述:2023年4月12日,微软宣布开源了DeepSpeedChat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT。核心观点:微软开源DeepSpeedChat,人人拥有ChatGPT时代已来临:ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式,这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在,通过DeepSpeedChat可以突破这些训练瓶颈,达到最佳效果。DeepSpeedChat拥有强化推理、RLHF模块、RLHF系统三大核心功能。强化推理方面,可实现简化ChatGPT类型模型的训练和强化推理;DeepSpeed-RLHF模块方面,复刻了InstructGPT论文中的训练模式,并确保包括监督微调(SFT)、奖励模型微调和基于人类反馈的强化学习在内的三个步骤。DeepSpeed-HE能够在RLHF中无缝地在推理和训练模式之间切换,使其能够利用来自DeepSpeedInference的各种优化。此外,DeepSpeedChat在成本、效率、扩展性等方面非常优秀,效率方面,此模型高效且节省成本,只在A

加载中...

已阅读到文档的结尾了

下载文档

网友评论>