machine-learning - 如何创建名称实体识别并评估其在精确度和召回率方面的性能？

Question

我正在研究电影评论数据集中的方面识别(显式和隐式方面)。这里，方面可以是 Actor 、导演、制作公司、音乐、情节、电影类型等。尽管搜索了很多，我还是知道我需要一个用于电影评论数据集的 NER(名称实体识别)。不幸的是，我的数据集没有可用的 NER。

我的问题是:

1. 如何从精确度、召回率和F1 测量方面评估我的“电影 NER”？
2. 我应该使用什么工具来实现此目的？

Answer 1

答案:

1. 如果您没有黄金数据，首先您需要注释并创建自己的黄金数据集。然后您可以使用这些数据进行精度、召回率、F1 度量计算。

2. 为了 NER 目的，您可以使用基于机器学习的方法。我建议您使用CRF++ 。您将需要定义自己的标签集并使用 IOB 技术注释数据，并使用 CRF++ 进行模型训练和测试。您可以使用conlleval.pl从精度和召回率方面计算算法的准确性。