machine-learning - CRF++中使用的边际概率公式是什么？

Question

CRF++ 说它可以:

其页面上的“可以输出所有候选者的边际概率”:http://crfpp.sourceforge.net/

但是在条件随机场中用于查找这些概率的公式的表示法是什么？

有人告诉我这不仅仅是p(a|b)，因为条件随机场使用来自相邻观察的上下文。

这些边际概率到底是什么？

Answer 1

条件概率就是 p(y|x)，其中 y 是标签序列，x 是关联的观察序列。

该概率的表达式就是 softmax 函数\exp( a_i )/\sum_{i'}\exp ( a_{i'})。

对于 CRF，a_i 是标签序列 a_i = w\cdot\phi(x,y) 的函数，其中 \phi(x ,y) 是从序列及其标签导出的特征向量。

这意味着分母中的总和超过了可能标签的指数数量，\mathcal{Y}:

\sum_{y' \in \mathcal{Y}} \exp ( w \cdot \phi(x,y) )