python - 使用 NLTK 创建 pos 标记语料库

Question

我想用 NLTK 构建词性标记语料库。这样我就可以基于它来训练我的模型。

到目前为止，我已经引用了很多资料，但每个资料都只是解释如何阅读标记的语料库以及阅读单词、句子等。以下是我尝试过的一段代码:

from nltk.corpus.reader import TaggedCorpusReader
reader = TaggedCorpusReader('/home/abc/nltk_data/', 'pos_tagged.pos')
reader.words()
reader.tagged_words()
reader.sents()

我想将我的语料库包含在 home/nltk_data/corpora/ 文件夹中，以便我可以导入我创建的语料库。请指导我。

Answer 1

我得到了有效的解决方案:请引用link了解分步过程。

从here下载相同的必要文件.

一旦您遵循 1 的命令将生成 pickle 文件，这是您的标记语料库。

生成 pickle 文件后，您可以通过运行以下代码来检查标记器是否正常工作:

import nltk.data
tagger = nltk.data.load("taggers/NAME_OF_TAGGER.pickle")
tagger.tag(['some', 'words', 'in', 'a', 'sentence'])