machine-learning - Word2Vec 和 Glove 向量适合实体识别吗？

Question

我正在研究命名实体识别。我评估了 MITIE、Stanford NER、NLTK NER 等库，它们都是基于传统 nlp 技术构建的。我还研究了深度学习模型，例如 word2vec 和 Glove 向量，用于表示向量空间中的单词，它们很有趣，因为它们提供了有关单词上下文的信息，但特别是对于 NER 任务，我认为它不太适合。由于所有这些向量模型都会创建词汇和相应的向量表示。如果任何单词不在词汇表中，则不会被识别。假设命名实体很可能不存在，因为它们不受语言的约束。它可以是任何东西。因此，如果任何深度学习技术在这种情况下必须有用，那就是那些更依赖于使用标准英语词汇的句子结构的技术，即忽略命名字段。有没有这样的模型或方法？ CNN 或 RNN 可能是答案吗？

Answer 1

我认为您指的是某种语言的文本，但该文本中的命名实体可能包含不同的名称(例如来自其他语言的名称)？

我首先想到的是一些半监督学习技术，模型会定期更新以反射(reflect)新词汇。

例如，您可能希望使用 word2vec 模型来训练传入数据，并将可能的 NE 的词向量与现有的 NE 进行比较。它们的余弦距离应该很近。