自然语言处理 : Is Gazetteer a cheat

Question

在 NLP 中，有一个 Gazetteer 的概念，它对于创建注释非常有用。据我了解，

地名词典由一组列表组成，其中包含城市、组织、星期几等实体名称。这些列表用于查找这些名称在文本中的出现情况，例如用于命名实体识别的任务。

所以它本质上是一个查找。这不是一种欺骗吗？如果我们使用地名词典来检测命名实体，那么就没有太多的自然语言处理在进行。理想情况下，我希望使用 NLP 技术检测命名实体。否则它怎么会比正则表达式模式匹配器更好。

这有意义吗？

Answer 1

取决于您如何构建/使用地名词典。如果你在一个封闭的领域中展示实验并且你自定义选择了你的地名词典，那么是的，你在作弊。如果您正在使用一些公开可用的地名词典并在大型数据集上执行实验，或者在您无法控制输入的野外应用程序中使用它，那么您就可以了。我们发现自己也处于类似的境地。我们对数据集进行分区并使用训练数据自动构建我们的地名词典。只要你报告你的方法，你就不应该觉得作弊(让审稿人提示)。