文件列表:
全球提示细胞:一种便携式控制模块,用于有效提示【英文版】.pdf |
下载文档 |
资源简介
>
英文标题:Global Prompt Cell: A Portable Control Module for Effective Prompt中文摘要:本文介绍了一种新型预训练模型调整方法,即 prompt tuning。它将可训练的嵌入插入到第一层的输入中,同时冻结下游任务中的参数。然而,如何训练和合理利用提示嵌入已成为限制 prompt tuning 有效性的一个问题。为了解决这个问题,引入了 Global Prompt Cell (GPC)。GPC 是一种便携式控制模块,用于 prompt tuning,可以在所有编码器层中有选择地保存提示信息。实验结果表明,与 vanilla prompt tuning 相比,在 SuperGLUE 数据集上有 5.8%的改进。英文摘要:As a novel approach to tuning pre-trained models, prompt tuning involvesfreezing the parameters in downstream tasks while inserting trainableembeddings into
加载中...
已阅读到文档的结尾了