python - 使用 nltk pos 标记器时出现错误的 zip 文件错误

Question

我正在尝试使用 NLTK POS 标记器，但收到“zipfile.BadZipfile:文件不是 zip 文件”错误。

错误来自此代码:

import nltk
sentence = "I love python"
tokens = nltk.word_tokenize(sentence)
pos_tags = nltk.pos_tag(tokens)
print nltk.ne_chunk(pos_tags, binary=True)

我找到了this question与我的问题有关。不幸的是，我无法下载整个语料库，因为我在服务器上工作并且有很多内存限制。有人可以指出我需要的特定文件，以便我可以只下载该文件而不是整个语料库吗？

(我使用的是 Python 2.7.6)

Answer 1

尝试这些:

nltk.download("maxent_treebank_pos_tagger")
nltk.download("maxent_ne_chunker")
nltk.download("punkt")

前两个分别用于 POS 标记和命名实体。第三个您没有在代码示例中使用，但您需要将其用于 nltk.sent_tokenize()，它将纯文本分解为句子。由于您将使用 POS 标签，因此我还会下载这些标签(它们很小):

nltk.download(["tagsets", "universal_tagset"])

如果您确实有一点空间，下载整个“书籍”集合将为您提供探索 NLTK 所需的一切。