python - 如何取消 BERT 代币的代币化？

Question

我有一个句子，我需要将对应于 N 个 BERT 标记的文本返回到特定单词的左侧和右侧。

from transformers import BertTokenizer
tz = BertTokenizer.from_pretrained("bert-base-cased")
sentence = "The Natural Science Museum of Madrid shows the RECONSTRUCTION of a dinosaur"

tokens = tz.tokenize(sentence)
print(tokens)

>>['The', 'Natural', 'Science', 'Museum', 'of', 'Madrid', 'shows', 'the', 'R', '##EC', '##ON', '##ST', '##R', '##UC', '##TI', '##ON', 'of', 'a', 'dinosaur']

我想要的是获得与标记马德里左侧和右侧的 4 个标记相对应的文本。所以我想要 token :['Natural', 'Science', 'Museum', 'of', 'Madrid', 'shows', 'the', 'R', '##EC'] 然后将它们转换为原文。在这种情况下，它将是“马德里自然科学博物馆展示 REC”。
有没有办法做到这一点？

Answer 1

BERT 使用词片分词，但不幸的是不是无损的，也就是说，您永远无法保证在去分词后得到相同的句子。这与 RoBERTa 有很大不同，RoBERTa 使用完全可恢复的 SentencePiece。
您可以获得所谓的预标记化文本，其中合并以 ## 开头的标记。 .

pretok_sent = ""
for tok in tokens:
     if tok.startswith("##"):
         pretok_sent += tok[2:]
     else:
         pretok_sent += " " + tok
pretok_sent = pretok_sent[1:]

此代码段重构了示例中的句子，但请注意，如果句子包含标点符号，则标点符号将与其他标记保持分离，即预标记化。句子可以是这样的:

'This is a sentence ( with brackets ) .'

从预标记化到标准句子是有损步骤(您永远无法知道原始句子中是否以及有多少额外的空格)。您可以通过应用去标记化规则来获得标准句子，例如 sacremoses .

import sacremoses
detok = sacremoses.MosesDetokenizer('en')
detok(sent.split(" "))

这导致:

'This is a sentence (with brackets).'