machine-learning - 迭代条件模式 E 步骤 EM

Question

我想知道使用 ICM 作为 EM 算法中 E 步骤的近似值的数学依据是什么。

据我了解，在 E 步骤中，其想法是找到一个等于潜在变量后验分布的分布，这保证了可能性增加，或者从一些更简单的分布族中找到最佳可能的分布，这保证了似然函数的下界增加。

如何在数学上证明在这样的 E 步中使用 ICM 是合理的？任何引用/推导/注释都会非常有帮助。

Answer 1

让我们考虑一个简单的 CRF，它表示给定观察值 (x) 的标记 (y) 的可能性。还假设可能性取决于参数 θ。在推断中，您只知道 x 并尝试推断 y。你只需要做的就是应用 EM 算法，E 步骤找到标签 y (argmax P(y|x,\theta))，M 步骤找到参数\theta (argmax P(\theta|x,y)) 。 M 步骤可以通过使用任何优化算法来完成，因为 θ 通常不是高维的(至少不如 y 的维数高)。 E 步骤只是对没有隐藏变量的 MRF/CRF 的推理，因为 θ 在 M 步骤中独立优化。 ICM 是一种用于执行推理的算法。如果你想要引用，你可以简单地阅读Murphy的书http://www.cs.ubc.ca/~murphyk/MLbook/ ，我觉得第26章还是挺相关的。