算法 em : comprehension and example

Question

我正在研究模式识别，我发现了一个我想深入研究的有趣算法，即期望最大化算法。我对概率和统计知识不是很了解，我读过一些关于算法在正态分布或高斯分布上的操作的文章，但我会从一个简单的例子开始，以便更好地理解。我希望这个例子可能是合适的。

假设我们有一个有 3 种颜色的 jar ，红、绿、蓝。对应抽到每个彩球的概率为:pr, pg, pb。现在，假设我们有以下用于绘制不同颜色概率的参数化模型:

公关 = 1/4

pg = 1/4 + p/4

pb = 1/2 - p/4

p 未知参数。现在假设做实验的人实际上是色盲，无法辨别红色和绿色球。他画了N个球，但只看到m1 = nR + nG 红/绿球，m2 = nB 蓝球。

问题是，这个人是否仍然可以估计参数 p 并利用它计算出他对红球和绿球数量的最佳猜测(显然，他知道蓝球的数量)？我认为他显然可以，但是 EM 呢？我需要考虑什么？

Answer 1

嗯，EM 算法的一般轮廓是，如果您知道某些参数的值，那么计算其他参数的 MLE 就非常简单。常见的例子是混合密度估计。如果您知道混合权重，那么估计各个密度的参数就很容易(M 步骤)。然后你返回一步:如果你知道个体密度，那么你可以估计混合物的权重(E 步骤)。不一定每个问题都有 EM 算法，即使有，也不一定是最有效的算法。但是，它通常更简单，因此也更方便。

在你说的问题中，你可以假装你知道红球和绿球的数量，然后你可以对p进行ML估计(M步)。然后使用 p 的值返回并估计红色和绿色球的数量(E 步骤)。无需过多考虑，我的猜测是您可以颠倒参数的角色并仍然将其用作 EM 算法:您可以假装您知道 p 并对数字进行 ML 估计的球，然后返回并估计 p。

如果您仍在关注，我们可以为所有这些东西制定公式。