nlp - 带有 NER 标记器的 TensorFlow

Question

我想知道是否有可能将命名实体识别与 tensorflow 中的自训练模型一起使用。

有一个 word2vec 实现，但我找不到“经典”POS 或 NER 标记器。

感谢您的帮助!

Answer 1

您可以调整序列到序列模型以进行 NER 标记。您的训练文本是编码器的源词汇/序列:

Yesterday afternoon , Mike Smith drove to New York .

您的 BIO/BILOU NER 标签是您用于 NER 标记的解码器的目标词汇/序列:

O O O B_PER I_PER O O B_LOC I_LOC O

或者改为使用 POS 标签到解码器进行 POS 标记:

NN NN ,  NNP NNP VBD TO NNP NNP . 

[恕我直言，使用深度学习方法通​​常不需要 POS 标记作为中间步骤，除非您特别需要这些功能作为某些内容的输出。]

您可能想要关闭解码器的词嵌入。

这篇著名论文将序列到序列模型应用于句法解析，这与 POS 和/或 NER 任务有一些相似之处:Grammar as a Foreign Language