nlp - 用于词性标注器的 Baum-Welch 算法

Question

大家。我正在使用 Baum-Welch 算法来训练词性标注器，它完全是无监督的方式。问题来了:当我得到标签结果时，我只得到一个数字序列。我不知道哪个标签代表 VV、NN、DT。我该如何解决这个问题？

Answer 1

一般来说，没有办法做到这一点。鲍姆-韦尔奇将找到具有相似分布的单词使用类别，但没有特别的理由假设这些类别将以任何直接的方式映射到任何特定语言理论所提出的类别。因此，无监督词性标注器主要适用于您关心单词或短语的等价类但不关心分配的特定标签的应用程序。

如果您确实需要人类可读的标签(例如，在开发过程中，评估您得到的结果是否合理)，我会手动标记几十个句子。然后，您可以将 B-W 派生标注器应用于已标记的迷你语料库，以诱导类编号和 POS 标签之间的映射。