python - 在 Spacy 中检测引理后的停用词

Question

如何在 spaCy 中进行词干提取和词形还原后检测词是否为停用词？

假设句子

s = "something good\nsomethings 2 bad"

在这种情况下，something 是一个停用词。显然(对我而言？) Something 和 somethings 也是停用词，但需要先进行词干提取。下面的脚本会说第一个是真的，但后者不是。

import spacy
from spacy.tokenizer import Tokenizer
nlp = spacy.load('en')
tokenizer = Tokenizer(nlp.vocab)

s = "something good\nSomething 2 somethings"
tokens = tokenizer(s)

for token in tokens:
  print(token.lemma_, token.is_stop)

返回:

something True
good False
"\n" False
Something False
2 False
somethings False

有没有办法通过 spaCy API 检测到它？

Answer 1

spaCy 中的停用词只是一组字符串，它在词位上设置了一个标志，词汇表中与上下文无关的条目(see here 用于英语停用列表)。该标志只是检查 text in STOP_WORDS，这就是为什么“something”为 is_stop 返回 True，而“somethings”没有。

但是，您可以做的是检查 token 的引理或小写形式是否是停止列表的一部分，可通过 nlp.Defaults.stop_words(即您使用的语言的默认值):

def extended_is_stop(token):
    stop_words = nlp.Defaults.stop_words
    return token.is_stop or token.lower_ in stop_words or token.lemma_ in stop_words

如果您正在使用 spaCy v2.0 并希望更优雅地解决这个问题，您还可以通过 custom Token attribute extension 实现您自己的 is_stop 函数.您可以为您的属性选择任何名称，它将通过 token._. 可用，例如 token._.is_stop:

from spacy.tokens import Token
from spacy.lang.en.stop_words import STOP_WORDS  # import stop words from language data

stop_words_getter = lambda token: token.is_stop or token.lower_ in STOP_WORDS or token.lemma_ in STOP_WORDS
Token.set_extension('is_stop', getter=stop_words_getter)  # set attribute with getter

nlp = spacy.load('en')
doc = nlp("something Something somethings")
assert doc[0]._.is_stop  # this was a stop word before, and still is
assert doc[1]._.is_stop  # this is now also a stop word, because its lowercase form is
assert doc[2]._.is_stop  # this is now also a stop word, because its lemma is