nlp - NLP从业者用什么特征来挑选英文名字？

Question

我第一次尝试命名实体识别。我正在寻找可以挑选英文名称的功能。我正在使用 coursera nlp course 中概述的方法(第三周)和 nltk book .换句话说:我正在定义特征，识别单词的特征，然后通过我在标记数据上训练的分类器来运行这些单词/特征。

用什么特征来挑选英文名字？

我可以想象你会连续寻找两个大写单词，或者一个大写单词然后一个首字母然后一个大写单词。 (例如 John Smith 或 James P. Smith)。

但是 NER 还使用了哪些其他功能？

Answer 1

一些共同特点:

常用名称(约翰、亚当等)的单词列表

套管

包含符号或数字字符(名称通常不包含)

人称前缀(先生、女士等...)

人后缀(Jr.、Sr. 等...)

单字母缩写(即 (J.) Smith)。

分析周围的词(你可能会发现一些词出现在名字附近的概率很高)。

先前识别的命名实体(通常很容易根据上下文在语料库的某些部分识别 NE，但在其他部分很难识别。如果以前识别，这是对 NER 的极好提示)

根据您使用的语言，可能还有更多特定于语言的功能。坦率地说，你可以通过一个简单的谷歌查询找到大量信息，我真的不知道你为什么没有转向那里。然而，一些起点:

Google

A survey of named entity recognition and classification

Named entity recognition without gazetteers