python - 如何在Python中使用nltk tokenize将某些实体保留为一个单词？

Question

如何将下面的某些字符串保持在一起？例如，

sentence = "?!a# .see"
tokens = nltk.word_tokenize(sentence)  
tokens 

给出

['!', '?', 'a', '#', '.see'] 而不是将 '?!a#' 保留为一个实体。

Answer 1

看起来你想要做的就是用空格分割字符串。所以只需调用 split 就足够了:

>>> sentence.split()
['?!a#', '.see']

但是，如果您确实想使用标记生成器，则可以使用正则表达式标记生成器:

>>> word_tokenizer = RegexpTokenizer('[\S]+') 
>>> word_tokenizer.tokenize(sentence)
['?!a#', '.see']

'\S' 匹配任何非空白字符。