machine-learning - 斯坦福NER分类器是如何构建的

Question

我正在使用斯坦福NER分类器。有 4 个分类器:

english.all.3class.distsim.crf.ser.gz
english.muc.7class.distsim.crf.ser.gz
english.conll.4class.distsim.crf.ser.gz
example.serialized.ncc.ncc.ser.gz

这些分类器是如何构建的？由于它们每个都基于不同的语料库，这是我的猜测

1. 在语料库上训练诸如 SVM 之类的机器学习分类器以及 OVR(针对多标签情况)，以检测诸如 ORGANIZATION 之类的实体>、PERSON、LOCATION 等。这意味着训练数据将是语料库中文档的整个文本。对于该文本片段，我们明确指出了ORGANIZATION、PERSON和LOCATION。因此分类器将能够预测这些实体。

2. 训练机器学习分类器将 POS 标签与 ORGANIZATION、PERSON、LOCATION 等实体关联起来。例如，可以训练分类器来预测哪些专有名词应该是ORGANIZATION

这是正确的大局吗？我只是想弄清楚如何构建我自己的 NER。

Answer 1

是的，模型是根据监督数据进行训练的。它们是一阶 CRF，进行多类概率序列分类(所以不是 OVR，不是 SVM)。您可以在 the Stanford NER page 上找到 NER 和斯坦福 NER 的介绍。 .