artificial-intelligence - 在没有标记语料库数据的情况下训练隐马尔可夫模型

Question

对于语言学类(class)，我们使用隐马尔可夫模型实现了词性 (POS) 标记，其中隐藏变量是词性。我们使用一些标记数据对系统进行了训练，然后对其进行了测试并将我们的结果与黄金数据进行了比较。

是否可以在没有标记训练集的情况下训练 HMM？

Answer 1

理论上你可以做到。在这种情况下，您将使用 Baum-Welch 算法。 Rabiner's HMM Tutorial 中对此进行了很好的描述。 .

但是，将 HMM 应用于词性后，使用标准形式得到的错误将不会那么令人满意。它是期望最大化的一种形式，仅收敛于局部最大值。基于规则的方法轻而易举地击败了 HMM，iirc。

我相信 python 的自然语言工具包 NLTK 有一个用于此目的的 HMM 实现。