machine-learning - 为什么逻辑回归不使用乘法而不是加法来计算误差矩阵？

Question

这是一个非常基本的问题，但我找不到足够的理由来说服自己。为什么逻辑回归必须对似然函数 l(w) 使用乘法而不是加法？

Answer 1

您的问题比逻辑回归的联合可能性更普遍。您问为什么我们将概率相乘而不是将它们相加来表示联合概率分布。两个注意事项:

1. 当我们假设随机变量是独立的时，这适用。否则，我们需要使用概率链式法则来计算条件概率。您可以查看维基百科以获取更多信息。

2. 我们相乘，因为这就是联合分布的定义方式。这是一个简单的例子:

假设我们有两个概率分布:

X = 1, 2, 3,  each with probability 1/3
Y = 0 or 1,  each with probability 1/2

我们想要计算联合似然函数，L(X=x,Y=y) ，即X具有值 x和Y具有值 y .

例如，L(X=1,Y=0) = P(X=1) * P(Y=0) = 1/6 。写 P(X=1) + P(Y=0) = 1/3 + 1/2 = 5/6 是没有意义的。 。

现在，在最大似然估计中，我们确实只关心某些参数 θ 的值，它使似然函数最大化。在这种情况下，我们知道如果 theta 最大化 L(X=x,Y=y)那么相同的 theta 也将最大化 log L(X=x,Y=y) 。这就是您可能看到概率加法发挥作用的地方。

因此我们可以取 log P(X=x,Y=y) = log P(X=x) + log P(Y=y)

简而言之

这可以概括为“联合概率代表 AND”。当X和Y是独立的，P(X AND Y) = P(X,Y) = P(X)P(Y) 。不要与 P(X OR Y) = P(X) + P(Y) - P(X,Y) 混淆.

请告诉我这是否有帮助。