python - 修复奇怪引理的必要条件？

Question

(在 jupyter notbook 中执行)我正在对已标记化的文档应用词形还原，我不禁注意到单词“us”每次都会被词形还原为“u”从清晰的角度来看，这是没有意义的，并且可能会导致人们将其理解为其他东西。我是否遗漏了 pos 功能的条件？我该如何解决这个问题？

定义函数

from nltk import pos_tag

def penn2wordNet(treebank_tags):
    wordNet_tag = {'NN':'n', 'JJ':'a',
                  'VB':'v', 'RB':'r'}
    try:
        return wordNet_tag[penntag[:2]]
    except:
        return 'n'
paired_tags = []
for doc in wordTokens:
    paired_tags.append(pos_tag(doc))
    print(paired_tags)

词形还原

    from nltk.stem import WordNetLemmatizer
wnl = WordNetLemmatizer()

print(wordTokens[1])
lemmatized_wordTokens = []
for index in range(len(paired_tags)):
    lemmatized_wordTokens.append(([wnl.lemmatize(word, pos=penn2wordNet(tag)) for word, tag in paired_tags[index]]))
print(lemmatized_wordTokens[1])

Answer 1

尽管 pos_tag(['us']) 返回 [('us', 'PRP ')]。这使得 WordNetLemmatizer 将“我们”视为名词。您必须添加一个附加条件来处理人称代词。