machine-learning - GDA(高斯判别分析)的对数似然函数

Question

我无法理解 Andrew Ng 的 CS229 笔记中给出的 GDA 似然函数。

l(φ,μ0,μ1,Σ) = log(从 i 到 m 的乘积){p(x(i)|y(i);μ0,μ1,Σ)p(y(i);φ) }

链接是http://cs229.stanford.edu/notes/cs229-notes2.pdf第 5 页。

对于线性回归，函数是从 i 到 m p(y(i)|x(i);theta) 的乘积这对我来说很有意义。为什么这里有一个变化，说它是由 p(x(i)|y(i) 给出并乘以 p(y(i);phi) 给出的？提前致谢

Answer 1

第 5 页的起始公式是

l(φ,µ0,µ1,Σ) = log <product from i to m> p(x_i, y_i;µ0,µ1,Σ,φ)

暂时忽略参数φ,µ0,µ1,Σ，可以简化为

l = log <product> p(x_i, y_i)

使用链式法则，您可以将其转换为任一

l = log <product> p(x_i|y_i)p(y_i)

或

l = log <product> p(y_i|x_i)p(x_i).

在第 5 页的公式中，φ 被移至 p(y_i)，因为只有 p(y) 依赖于它。

似然度以联合概率分布p(x,y)开始，而不是条件概率分布p(y|x)，这就是GDA被称为的原因生成模型(从 x 到 y 以及从 y 到 x 的模型)，而逻辑回归被认为是一种判别模型(从 x 到 y 的单向模型)。两者都有各自的优点和缺点。下面似乎有一章关于此内容。