RetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型（英文版）

英文标题：RetroMAE-2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models中文摘要：本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，实现所有上下文化嵌入的紧凑汇总，生成最终的语义表示。英文摘要：To better support information retrieval tasks such as web search andopen-domain question answering, growing effort is made to developretrieval-oriented language models, e.g., RetroMAE and many others. Most of theexisting works focus on improving th