用 Transformer 近似实现 CKY（英文版）

英文标题：Approximating CKY with Transformers中文摘要：本文研究了 transformer 模型近似 CKY 算法的能力，并通过直接预测分析结果，避免了 CKY 算法对句子长度的三次依赖。研究发现，在标准的短语句法分析基准测试中，这种方法在速度上比 CKY 还要快，但仍然能够实现与 CKY 相媲美的性能，并通过引入归纳偏差提出了一种新的方法来预测分析结果。英文摘要：We investigate the ability of transformer models to approximate the CKYalgorithm, using them to directly predict a parse and thus avoid the CKYalgorithm's cubic dependence on sentence length. We find that on standardconstituency parsing benchmarks this approach achieves competitive or betterperform