machine-learning - 为什么马尔可夫链蒙特卡罗 (MCMC) 在贝叶斯机器学习中有用？

Question

我们有一些数据和一个带有潜在变量的概率模型，我们想在看到数据后估计后验分布。通常这个 p(x|z) 很难计算，所以我们使用变分推理，或 MCMC。

我不明白为什么 MCMC 会扮演一个重要的规则。 MCMC只能抽取 sample 。但我们可能想要拟合模型参数而不仅仅是抽取样本。例如，对于$p(x,\theta|z)$，我们可能想要拟合参数$\theta$，仅抽取样本无法满足我们的需求。

我的问题是，既然MCMC只能抽取后验样本，为什么它很重要？

Answer 1

蒙特卡罗是有道理的，因为它遵守统计定律 - 大数定律 click here其中指出，如果样本量足够大，则样本的均值和方差本质上收敛于总体本身的均值和方差。

下一个问题是样本量应该有多大？

这由以下公式给出，

N ≥ 0.25 􏰅* (Zα/2/ϵ)^􏰆2
N - denotes the sample size,
α - the width which has the maximum probability,
ϵ - the error allowed which comes from chebyshev's inequality.

我的建议是通过拟合参数来计算出所需的样本大小，而不是抽取大量样本。