基于完整参数和 LoRA 的微调在指令遵循大型语言模型的比较研究（英文版）

英文标题：A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on Chinese Instruction Data for Instruction Following Large Language Model中文摘要：本研究通过实验比较全参数微调和 LoRA 微调方法，使用 LLaMA 作为基础模型，发现基础模型选择、训练数据集规模、可训练参数数量和模型训练成本都是重要因素。该实验结论可以为训练大型语言模型提供启示，特别是在中文领域，帮助研究人员找到更好的训练成本和模型性能的平衡策略。为了方便本文结果的复现，我们将公开数据集、模型和代码。英文摘要：Recently, the instruction-tuning of large language models is a crucial areaof research in the field of natural language processing. Due to resource andcost limitations, several