machine-learning - 短语 "a machine learning algorithm learn a probability distribution"是什么意思？这里究竟发生了什么

Question

生成模型和判别模型似乎可以学习条件 P(x|y) 和联合 P(x,y) 概率分布。但从根本上讲，我无法说服自己“学习概率分布”意味着什么。

Answer 1

这意味着您的模型要么充当训练样本的分布估计器，要么利用该估计器执行其他一些预测。

举一个简单的例子，考虑一组观察结果{x[1], ..., x[N]}。假设您想训练一个高斯估计器。从这些样本中，该高斯估计器的最大似然参数将是数据的均值和方差

均值 = 1/N * (x[1] + ... + x[N])

方差 = 1/(N-1) * ((x[1] - 平均值)^2 + ... + (x[N] - 平均值)^2)

现在您有了一个能够根据训练样本的分布(估计)生成新样本的模型。

更复杂一点，您可以考虑高斯混合模型之类的东西。这同样可以根据您的数据推断出模型的最佳拟合参数。除了这一次，该模型由多个高斯组成。因此，如果给您一些测试数据，您可以根据每个高斯分量对观察点概率密度的相对贡献，为每个样本概率分配类别。这当然构成了机器学习的基本假设:您的训练和测试数据都来自相同的分布(您应该检查这一点)。