python - 为什么 NLTK 的 PoS 标注器对单词中的每个字母进行标注，而不是对每个单词进行标注？

Question

假设我有这句话:我是一个男孩。我想找出句子中每个单词的词性。这是我的代码:

import nltk
sentence = 'I am a good boy'
for word in sentence:
    print(word)
    print(nltk.pos_tag(word))

但这会产生以下输出:

I
[('I', 'PRP')]

[(' ', 'NN')]
a
[('a', 'DT')]
m
[('m', 'NN')]

[(' ', 'NN')]
a
[('a', 'DT')]

[(' ', 'NN')]
g
[('g', 'NN')]
o
[('o', 'NN')]
o
[('o', 'NN')]
d
[('d', 'NN')]

[(' ', 'NN')]
b
[('b', 'NN')]
o
[('o', 'NN')]
y
[('y', 'NN')]

所以，我尝试这样做:

sentence = 'I am a good boy'
for word in sentence.split(' '):
    print(word)
    print(nltk.pos_tag(word))

这会产生以下输出:

I
[('I', 'PRP')]
am
[('a', 'DT'), ('m', 'NN')]
a
[('a', 'DT')]
good
[('g', 'NN'), ('o', 'MD'), ('o', 'VB'), ('d', 'NN')]
boy
[('b', 'NN'), ('o', 'NN'), ('y', 'NN')]

为什么它要查找每个字母而不是每个单词的 PoS？我该如何解决这个问题？

Answer 1

nltk.pos_tag 将列表或类似列表的内容作为参数，并标记其中的每个元素。因此，在第二个示例中，它将每个字符串(即每个单词)拆分为字母，就像第一个示例中将句子拆分为字母一样。当您传递通过拆分句子获得的整个列表时，它会起作用:

>>> nltk.pos_tag(sentence.split(" "))
[('I', 'PRP'), ('am', 'VBP'), ('a', 'DT'), ('good', 'JJ'), ('boy', 'NN')]

Per documentation ，您通常会传入 NLTK 标记化返回的内容(这是单词/标记的列表)。