python - 希伯来语中的 spacy 句子标记化错误

Question

尝试对希伯来语使用 spacy 句子标记化。

import spacy
nlp = spacy.load('he')
doc = nlp(text)
sents = list(doc.sents)

我得到:

    Warning: no model found for 'he'

    Only loading the 'he' tokenizer.

Traceback (most recent call last):   
  ...
    sents = list(doc.sents)   
  File "spacy/tokens/doc.pyx", line 438, in __get__ (spacy/tokens/doc.cpp:9707)
    raise ValueError( ValueError: Sentence boundary detection requires the dependency parse, which requires data to be installed. For more info, see the documentation:  https://spacy.io/docs/usage

怎么办？

Answer 1

spaCy 的 Hebrew coverage目前非常少。它目前只有希伯来语的 word 标记化，它在空白处粗略地分割，但有一些额外的规则和异常(exception)。您想要的句子标记化/边界检测需要对句子进行更复杂的语法分析，以确定一个句子的结束位置和另一个句子的开始位置。这些模型需要大量标记的训练数据，因此可用于比标记化更少的语言(here 的列表)。

最初的消息是告诉你它可以进行标记化，这不需要模型，然后你得到的错误是没有模型来分割句子、做 NER 或 POS 等的结果。

你可能会看看 this list希伯来语 NLP 的其他资源。如果您找到足够多的正确格式的标记数据并且您有雄心壮志，您可以使用描述的概述来训练您自己的希伯来语 spaCy 模型 here .