scala - 从文本中高效提取 WikiData 实体

Question

我有很多文本(数百万)，字数从 100 到 4000 不等。这些文本被格式化为书面作品，带有标点符号和语法。一切都是英文的。

问题很简单:如何从给定文本中提取每个 WikiData 实体？

实体被定义为每个名词，无论是专有名词还是常规名词。即人名、组织名称、地点名称以及椅子、土 bean 等事物的名称。

到目前为止，我已尝试以下操作:

1. 使用 OpenNLP 对文本进行标记，并使用pre-trained models提取人物、地点、组织和常规名词。
2. 申请Porter Stemming在适用的情况下。
3. 将所有提取的名词与 wmflabs-API 相匹配检索潜在的 WikiData ID。

这有效，但我觉得我可以做得更好。一个明显的改进是在本地缓存 WikiData 的相关部分，我计划这样做。不过，在这样做之前，我想检查一下是否还有其他解决方案。

建议？

我标记了问题 Scala 因为我正在使用 Spark来完成任务。

Answer 1

一些建议:

• 考虑将斯坦福 NER 与 OpenNLP 进行比较，看看它在您的语料库上的比较情况
• 我想知道大多数实体名称的词干提取的值(value)
• 我怀疑您将任务划分为离散阶段可能会丢失信息
• 虽然 Wikidata 是新的，但任务却不是，因此您可以查看有关 Freebase|DBpedia|Wikipedia 实体识别|消歧的论文

特别是，DBpedia Spotlight 是专门为这一任务而设计的系统。

http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/38389.pdf http://ceur-ws.org/Vol-1057/Nebhi_LD4IE2013.pdf