python - 我是否缺少 spaCy 词形还原中的预处理功能？

Question

我正在尝试使用 spacy 为文档中的所有标记获取引理(即 token.lemma_)。
代码:

sentence = 'I'm looking for all of the lemmas. Please help me find them!'
nlp = spacy.load('en', disable=['parser', 'NER])
doc = nlp(sentence)
tokens = [tokens.lemma_ for token in doc]

预期结果:

['look', 'lemma', 'help', 'find']

实际结果:

[-PRON-, 'be', 'look', 'all', 'of', 'the', 'lemma', '.', 'please', 'help', '-PRON-', 'find', '-PRON', '!']

我是否缺少 spacy 中的某种预处理功能，还是必须单独进行预处理？我希望在词形还原之前删除所有标点符号和停用词。

Answer 1

您可以使用

>>> [token.lemma_ for token in doc if not token.is_stop and not token.is_punct]
['look', 'lemma', 'help', 'find']

添加了以下部分:

if not token.is_stop - 如果 token 是停用词

and - 和

not token.is_punct - 如果标记是标点符号，则省略它们。