nlp - NER 的线性 CRF 与 Word2Vec 对比

Question

我已经阅读了大量关于线性 CRF 和 Word2Vec 的文章，想知道哪一个最适合做命名实体识别。我使用 Stanford NER(这是一个线性 CRF 实现)训练了我的模型，并获得了 85% 的精度。我知道 Word2vec 将相似的单词组合在一起，但它是进行 NER 的好模型吗？

Answer 1

CRFs 和 word2vec 是苹果和橘子，所以比较它们真的没有意义。

CRF 用于 NER 等序列标记问题。给定一系列项目，以特征表示并与标签配对，他们将学习一个模型来预测新序列的标签。

Word2vec 的词嵌入是将词表示为 float 向量。他们自己不预测任何事情。您甚至可以使用词向量在 CRF 中构建特征，尽管更典型的做法是将它们与 LSTM 等神经模型一起使用。

有些人成功地将词向量与 CRF 结合使用。有关在 CRF 中使用词向量的一些讨论，请参阅 here和 here .

请注意，对于许多标准 CRF 实现，特征应该是二元的或分类的，而不是连续的，因此您通常不能像处理其他特征那样只是将词向量插入。

如果您想知道哪个更适合您的用例，唯一的方法就是尝试两者。