SCOTT: 自洽思维串讲压缩（英文版）

英文标题：SCOTT: Self-Consistent Chain-of-Thought Distillation中文摘要：提出了一种知识蒸馏方法以学习从比自身大几个数量级的大型语言模型中生成一致合理的解释的小型自洽 Chain-of-Thought（CoT）模型，它使用教师模型生成的合理解释来学习学生模型，并使用对抗性约束来保证学生模型保持一致性和反事实推理，实验结果表明，这种方法可以更好地生成有利于提高性能的 CoT 解释。英文摘要：Large language models (LMs) beyond a certain scale, demonstrate the emergentcapability of generating free-text rationales for their predictions viachain-of-thought (CoT) prompting. While CoT can yield dramatically improvedperformance, such gains are only observed for sufficientl