nlp - 自然语言处理中的性别识别

Question

我使用 stanford nlp 包编写了以下代码。

GenderAnnotator myGenderAnnotation = new GenderAnnotator();
myGenderAnnotation.annotate(annotation);

但是对于“Annie go to school”这句话，它无法识别Annie的性别。

应用程序的输出是:

     [Text=Annie CharacterOffsetBegin=0 CharacterOffsetEnd=5 PartOfSpeech=NNP Lemma=Annie NamedEntityTag=PERSON] 
     [Text=goes CharacterOffsetBegin=6 CharacterOffsetEnd=10 PartOfSpeech=VBZ Lemma=go NamedEntityTag=O] 
     [Text=to CharacterOffsetBegin=11 CharacterOffsetEnd=13 PartOfSpeech=TO Lemma=to NamedEntityTag=O] 
     [Text=school CharacterOffsetBegin=14 CharacterOffsetEnd=20 PartOfSpeech=NN Lemma=school NamedEntityTag=O] 
     [Text=. CharacterOffsetBegin=20 CharacterOffsetEnd=21 PartOfSpeech=. Lemma=. NamedEntityTag=O]

获取性别的正确方法是什么？

Answer 1

如果您的命名实体识别器输出 token 的 PERSON，您可以使用(如果没有，则构建)基于名字的性别分类器。例如，请参阅Gender Identification NLTK 库教程页面中的部分。他们使用以下功能:

• 姓名的最后一个字母。
• 名字的第一个字母。
• 名称长度(字符数)。
• 字符一元组是否存在( bool 值是否在名称中)。

不过，我有预感，使用字符 n 元语法频率(可能高达字符三元语法)会给您带来相当好的结果。