spacy - 限制 Spacy NER 中的实体类型

Question

我正在使用 Spacy 大型模型，但它错误地使用与我的领域无关的类别标记实体，例如“艺术作品”可能导致它无法识别本应属于组织的内容。

是否可以限制 NER 仅返回人员、位置和组织？

Answer 1

简答:

不，您不能限制 NER 不标记特定标签或相反。

您可以做的是在代码中限制它或修改模型 [查看详细答案]。

在代码中限制它只是过滤检索到的实体，但它不会解决您的错误分类问题。

import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp(u"Apple is looking at buying U.K. startup for $1 billion")

entities = [ent for ent in doc.ents if ent.label_ == "ORG"]

长答案:

您可以在 spacy 中限制 NER，但不能使用简单的参数(目前)。

为什么不呢？简单:NER 是一项有监督的机器学习任务。您提供带有标记实体的文本，它会进行训练，然后尝试根据预先学习的参数预测新实例。

如果您希望 NER 仅识别某些实体，例如组织，您必须仅使用 org 实例训练新模型。

如果您熟悉机器学习概念，您会这样理解:在多类分类任务中，您不能简单地删除一个类而不使用过滤后的训练数据重新训练整个模型。

查看此页面以获取有关 NER 培训的更多信息:https://spacy.io/usage/linguistic-features/#named-entities