machine-learning - 马尔可夫链 - 具有 "unseen"个观测值的样本的可能性(概率 0)

Question

我有一个大的马尔可夫链和一个样本，我想计算其可能性。问题是样本中的某些观察或转换不会发生在马尔可夫链中，这使得总似然为 0(或对数似然 - 无穷大)。不可能使用更多的数据来构建马尔可夫链。我想知道是否有办法仍然具有有意义的可能性。

我已经尝试过滤掉样本中的这些“未知”观察结果并单独报告它们。但问题是我想将样本的可能性与同一样本的可能性进行比较，但经过转换。转换后的样本具有不同数量的“未知”观察值。因此，我认为我无法比较这两种可能性，因为它们是通过不同数量的观察结果计算出来的。

有没有办法仍然计算可以比较的有意义的可能性？我正在考虑对样本中观察到的概率进行平均，但我找不到任何正确的信息。

提前致谢!

Answer 1

简单来说 - 概率模型中的关键是概率分布估计器。看来您使用了最简单的可能 - 经验估计器，其形式为

p(event) = count(event) / [count(event) + count(not-event)]

对于未见过的事件估计概率为 0，这会导致明显的问题。有数十种估计器不存在此问题，最简单的估计器之一是拉普拉斯平滑，其中您假设对未见过的事件存在一定的概率限制

p(event) = [count(event) + alpha] / [count(event) + count(not-event) + alpha * #event-types]

这样，即使没有发生的事件也具有非零概率。