python - 我如何使用 NLTK 的默认分词器来获取跨度而不是字符串？

Question

NLTK 的默认分词器 nltk.word_tokenizer 链接两个分词器，一个句子分词器，然后是一个对句子进行操作的单词分词器。它开箱即用，效果非常好。

>>> nltk.word_tokenize("(Dr. Edwards is my friend.)")
['(', 'Dr.', 'Edwards', 'is', 'my', 'friend', '.', ')']

我想使用相同的算法，只是让它返回原始字符串中的偏移量元组而不是字符串标记。

我所说的偏移量是指可以作为原始字符串索引的 2-ples。例如这里我有

>>> s = "(Dr. Edwards is my friend.)"
>>> s.token_spans()
[(0,1), (1,4), (5,12), (13,15), (16,18), (19,25), (25,26), (26,27)]

因为 s[0:1] 是“(”，s[1:4] 是“Dr.”等等。

是否有单个 NLTK 调用可以执行此操作，还是我必须编写自己的偏移算法？

Answer 1

是的，nltk 中的大多数 Tokenizer 都有一个名为 span_tokenize 的方法，但不幸的是，您使用的 Tokenizer 没有。

默认情况下 word_tokenize 函数 uses a TreebankWordTokenizer . TreebankWordTokenizer 实现具有相当强大的 implementation但目前它缺少一个重要方法 span_tokenize 的实现。

我没有看到 TreebankWordTokenizer 的 span_tokenize 实现，所以我相信您需要自己实现。子类化 TokenizerI可以使这个过程稍微不那么复杂。

您可能会发现 PunktWordTokenizer 的 span_tokenize 方法可用作 starting point .

希望这些信息对您有所帮助。