machine-learning - 带有附加类别的 stanford NER 分类

Question

当前stanford NER主要提供6类LOCATION, TIME, PERSON' ORGANIZATION' MONEY' PERCENT' DATE 此外，它是用英语数据进行训练的，因此无法对印度实体进行分类。

是否可以使用额外的类来训练分类器，以便它也可以将 NE 识别为产品、月份、疾病、设备等。

此外，它不会对印度实体进行分类，因此如果可能的话，也可以添加对此类非英语类的支持。

是否可以重新训练分类器、标记器以获得额外的支持？

Answer 1

印度实体的一种可能性是，斯坦福大学的人员通常很乐意将外部训练数据添加到分类器中(如果其结构良好)。例如，当前三个英语模型中的两个无法识别“Vihari 昨天回答了我的问题”这句话中的“Vihari”。如果您编译此类句子的列表并将它们发送到 java-nlp-support@lists.stanford.edu，它们最终将进入 future 的模型。

您必须自己为其他类别(例如产品、设备等)标记大量数据，这是一项相当耗时的任务。如果您预算充足，Amazon Mechanical Turk 可能会提供服务。