nlp - 使用字符嵌入进行 BERT 训练

Question

将 BERT 模型中的标记化范式更改为其他东西是否有意义？也许只是一个简单的单词标记化或字符级标记化？

Answer 1

这是论文“CharacterBERT: Reconciling ELMo and BERT for Word-Level Open-Vocabulary Representations From Characters”背后的一个动机，其中 BERT 的词条系统被丢弃并替换为 CharacterCNN(就像在 ELMo 中一样)。这样，可以在没有任何 OOV 问题的情况下使用单词级标记化(因为模型会处理每个标记的字符)，并且模型会为任何任意输入标记生成单个嵌入。
在性能方面，论文表明 CharacterBERT 通常至少与 BERT 一样好，同时对嘈杂的文本更健壮。