machine-learning - 指数中对数似然的含义。最大化算法

Question

我已经实现了exp。最大化算法，它收敛并正确返回 mu 和 sigma 的值，我已经检查了各种示例。

我尝试绘制对数似然，但我不知道它以正确的形式看起来如何？这是等式: 我的图，y 是对数似然值，x 是迭代次数。

负值很奇怪，也许我应该标准化可能性？ Exp 中的对数似然意味着什么。最大化？

logLikelihood = 0;
for i = 1 : n
    logTemp = 0;
    for j = 1 : k
        logTemp =  logTemp + p(j) * mvnpdf(x(i,:), mu(j,:), sigma(:,:,j));
    end
    logLikelihood = logLikelihood + log(logTemp);
end
plot(iteration, logLikelihood,'r*');
hold on;

Answer 1

对数概率始终为负，因为它是概率的对数 (p<1)。你的概率(不是 logprop。)的顺序是 p=10^-1000，这是正常的。例如，10000 个有偏差的骰子掷出的最可能序列的概率非常小(但其他序列的可能性更小)。

对数概率是一种避免概率消失的构造，也就是说，程序会将它们四舍五入为零，当它这样做时，程序很可能会崩溃，例如除以某些归一化为零。