天风证券：计算机行业专题研究：“安卓版”大模型助推，算力和应用的黄金时代

开源生态与技术的发展不断降低大模型强化学习的数据与工程门槛人类反馈的强化学习（RLHF）是ChatGPT类模型的重要步骤，随着开源生态的发展，这一步骤的门槛逐渐降低。4月12日，微软开源了基于此优化库的DeepSpeedChat，此优化库拥有强化推理、RLHF模块、RLHF系统三大核心功能，使得RLHF的训练大幅加快（比现有系统快15倍）、成本降低且易于大规模推广（仅单GPU就可支持超130亿参数的模型）；Self-instruct方法通过低成本生成指令微调数据集，可以解决大语言模型人工标注成本高的问题，同时效果较为显著，包括Alpaca等开源模型已经使用self-instruct方法通过openAIAPI获取模型微调数据集。开源模型生态方兴未艾，性能优异且参数量较小的大模型不断涌现，企业拥有自己的大模型指日可待以LLaMA系列和Dolly2.0为代表的开源模型体系降低了打造大模型的门槛。Databricks开源了可用于商用的大语言模型Dolly2.0，同时开源了人工产生指令微调的数据集，象征着大模型开源生态的进一步演进。LLaMA系列是Meta在2023年发布并逐步开源的大语言模型，