nltk - 如何为 nltk.word_tokenize 定义特殊的 "untokenizable"单词

Question

我正在使用 nltk.word_tokenize用于标记一些包含编程语言、框架等的句子，这些句子被错误标记。

例如:

>>> tokenize.word_tokenize("I work with C#.")
['I', 'work', 'with', 'C', '#', '.']

有没有办法将这样的“异常(exception)”列表输入到标记器中？我已经编制了一份我不想拆分的所有内容(语言等)的列表。

Answer 1

Multi Word Expression Tokenizer应该是你需要的。

您将异常列表添加为元组并将已标记化的句子传递给它:

tokenizer = nltk.tokenize.MWETokenizer()
tokenizer.add_mwe(('C', '#'))
tokenizer.add_mwe(('F', '#'))
tokenizer.tokenize(['I', 'work', 'with', 'C', '#', '.'])
['I', 'work', 'with', 'C_#', '.']
tokenizer.tokenize(['I', 'work', 'with', 'F', '#', '.'])
['I', 'work', 'with', 'F_#', '.']