通过语言类型分类探究单语 BERT 的语言学特征（英文版）

英文标题：Exploring Linguistic Properties of Monolingual BERTs with Typological Classification among Languages中文摘要：本文采用了语言类型相似性的新视角，通过观察不同语言的 transformers 在各自的层次上是否出现了相似性，利用层内加权矩阵来测量相似度，发现句法类型相似性与中间层的权重相似性一致，这一发现证实了通过句法探针 BERT 获得的结果，从而重要地确认了 BERT 在复制传统的语言模型。英文摘要：The overwhelming success of transformers is a real conundrum stimulating acompelling question: are these machines replicating some traditional linguisticmodels or discovering radically new theories? In this paper, we propose a novelstandpoin