python - 在没有模型的情况下使用 spacy 的 Matcher

Question

我想在一种新语言(希伯来语)上使用 spaCy 的 Matcher 类，而 spaCy 尚未为其提供工作模型。

我找到了一个有效的分词器 + 词性标注器(来自斯坦福 NLP)，但我更喜欢 spaCy，因为它的 Matcher 可以帮助我做一些基于规则的 NER。

基于规则的匹配器可以使用 POS 标记文本而不是标准 NLP 管道吗？

Answer 1

您可以手动为来自其他来源的空白文档设置单词和标签，然后使用匹配器。这是一个使用英语单词/标签的示例，只是为了演示:

from spacy.lang.he import Hebrew
from spacy.tokens import Doc
from spacy.matcher import Matcher

words = ["my", "words"]
tags = ["PRP$", "NNS"]

nlp = Hebrew()
doc = Doc(nlp.vocab, words=words)
for i in range(len(doc)):
    doc[i].tag_ = tags[i]

# This is normally set by the tagger. The Matcher validates that
# the Doc has been tagged when you use the `"TAG"` attribute.
doc.is_tagged = True

matcher = Matcher(nlp.vocab)
pattern = [{"TAG": "PRP$"}]
matcher.add("poss", None, pattern)
print(matcher(doc))
# [(440, 0, 1)]