学习使用 Gist Tokens 压缩提示（英文版）

英文标题：Learning to Compress Prompts with Gist Tokens中文摘要：本文提出一种名为 gisting 的方法，使得语言模型可以在不受到提示限制的情况下进行任务处理，通过在指令微调中训练 “要旨” 模型，并仅仅在解码过程中使用它们，可以大大压缩提示量，使得模型可以在保持输出质量的前提下获得更高的计算效率和存储效率。英文摘要：Prompting is now the primary way to utilize the multitask capabilities oflanguage models (LMs), but prompts occupy valuable space in the input contextwindow, and re-encoding the same prompt is computationally inefficient.Finetuning and distillation methods allow for specialization of LMs withoutprompting, but requir