machine-learning - 为什么马尔可夫随机场中的推理很难？

Question

我正在研究马尔可夫随机场，显然，MRF 中的推理很困难/计算成本很高。具体来说，凯文·墨菲 (Kevin Murphy) 的书《机器学习:概率视角》 (Machine Learning: A Probabilistic Perspective) 说道:

“在第一项中，我们将 y 固定为其观测值；这有时称为钳位项。在第二项中，y 是自由的；这有时称为非钳位项或对比项。请注意计算未限制项需要在模型中进行推理，并且每个梯度步骤必须完成一次。这使得训练无向图模型比训练有向图模型更困难。”

为什么我们要在这里进行推理？我知道我们正在对所有 y 求和，这看起来很昂贵，但我不知道我们实际上在哪里估计任何参数。维基百科也讨论了推理，但只讨论了计算条件分布，以及需要对所有非指定节点求和..但是..这不是我们在这里所做的，是吗？

或者，是否有人对为什么 MRF 中的推理很困难有很好的直觉？

来源:ML:PP第19章:https://www.cs.ubc.ca/~murphyk/MLbook/pml-print3-ch19.pdf

具体部分见下文

Answer 1

训练 CRF 时，您需要估计参数 \theta。

为此，您可以对 \theta 求损失函数(方程 19.38)，将其设置为 0，然后求解 \theta。

如果您这样做，您将无法分析求解 \theta 的方程。但是，您可以通过梯度下降来最小化方程 19.38。由于损失函数是凸函数，因此可以保证梯度下降在收敛时获得全局最优解。

方程 19.41 是您需要计算的实际梯度，以便能够进行梯度下降。当您对 y 的观察值求和时，第一项很容易计算(并且计算成本低)。然而，第二项要求你进行推理。在这一项中，您不会像第一项那样对 y 的观测值进行求和。相反，您需要计算 y 的配置(推理)，然后计算该配置下的势函数值。