machine-learning - 如何使用 EM 算法计算患者-观察者示例中的概率

Question

我不知道如何评估自己，但我会把自己放在统计和机器学习的初学者中。
我已经开始阅读有关最大熵似然以及如何使用它们来估计为任何给定分布的密度函数提供最高概率的参数。
我发现了一篇很好的论文，标题为“Maximum likelihood estimation of observer error-rates using the EM algorithm”。在本文中，提出了一个模型，以便即使无法获得患者的真实 react ，也可以估计各个方面(体征、症状)的错误率。第 7 页的论文给出了一个完整的已解决示例，解释如何估计每个观察者的错误率和边际概率。然后尝试计算每个患者的指标变量。我知道方程 2.3 和 2.4 用于获得表 2 的结果。我的问题是我花了很多时间试图弄清楚表 4 中的结果是如何计算的。它是根据哪个方程计算的？

Answer 1

表 4 中的数字是给定数据后每个患者属于每个类别的最终概率，即患者 i 和类别 j 的 p(T_ij = 1 | data)。它们是使用方程 2.5 计算的，方程 2.5 表示 EM 算法的 E 步。

更详细:

在 EM 的每次迭代中，算法会执行两件事:

• M 步骤:根据患者类别分配 (T_ij) 的当前值，使用方程 2.3 和 2.4 计算参数(类别 martinals，p_j 和错误率，pi_jlk)的最大似然估计。
• E 步骤:根据参数(p_j 和 pi_jlk)的当前值，使用公式 2.5 计算 T_ij = p(T_ij = 1 | data) 的新期望

可以使用方程 2.7 计算所有参数当前值的完全似然，并且这应该随着 EM 的每次迭代而单调增加，直到收敛(一旦参数值停止变化)。

对于论文中给出的数据，p_j 和 pi_jlk 的最终估计(一旦收敛)如表 2 所示，T_ij 的最终估计如表 4 所示。

这里是论文中给出的算法和示例的简单 python 实现。 (请注意，此实现的最终估计与论文中给出的估计略有不同，大概是因为精度或初始化方面的差异): https://github.com/dallascard/dawid_skene