python - 在带注释的文本上使用 NLTK 方法，例如 tokenize

Question

假设我有一个带注释的文本语料库，其中的句子类似于:

txt = 'red foxes <emotion>scare</emption> me.'

是否可以使用 word_tokenize 以我们得到的方式对其进行标记:

['red', 'foxes', '<emotion>scare<emotion>', 'me', '.']

我们可以使用另一种注释方案:

txt = 'red foxes scare\_EMOTION me'

是否可以使用 NLTK 来做到这一点——目前我正在解析注释，然后在带外跟踪它们，这非常麻烦。

Answer 1

要获得所需的结果，您不需要 nltk。

只需运行txt.split()

如果您坚持使用nltk，请查看不同的tokenizers .

PunktWordTokenizer 和 WhitespaceTokenizer 适合。