python - 如何将复合词添加到 NLTK 中的标注器？

Question

所以，我想知道是否有人知道如何在 NLTK. 中的标记器中组合多个术语以创建单个术语。 .

例如，当我这样做时:

nltk.pos_tag(nltk.word_tokenize('Apple Incorporated is the largest company'))

它给了我:

[('Apple', 'NNP'), ('Incorporated', 'NNP'), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), ('company', 'NN')]

如何将“Apple”和“Incorporated”放在一起成为 ('Apple Incorporated','NNP')

Answer 1

你可以试试看 nltk.RegexParser .它允许您根据正则表达式对词性标记内容进行分块。在你的例子中，你可以做类似的事情

pattern = "NP:{<NN|NNP|NNS|NNPS>+}"
c = nltk.RegexpParser(p)
t = c.parse(nltk.pos_tag(nltk.word_tokenize("Apple Incorporated is the largest company")))
print t

这会给你:

Tree('S', [Tree('NP', [('Apple', 'NNP'), ('Incorporated', 'NNP')]), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), Tree('NP', [('company', 'NN')])])