python - scikit-learn GMM 产生正对数概率

Question

我正在使用 python scikit-learn 包中的高斯混合模型来训练我的数据集，但是，我在编码时发现了这一点

-- G=mixture.GMM(...)

-- G.fit(...)

-- G.score(和特征)

得到的对数概率是正实数...这是为什么呢？不是对数概率保证为负吗？

我明白了。高斯混合模型返回给我们的是对数概率“密度”而不是概率“质量”，因此正值是完全合理的。

如果协方差矩阵接近于奇异，那么 GMM 将不会表现良好，通常这意味着数据不适合此类生成任务

Answer 1

正对数概率没问题。

请记住，GMM 计算的概率是概率密度函数 (PDF)，因此在任何单个点都可以大于 1。

限制是 PDF 必须在数据域上集成到一个。

如果对数概率变得非常大，则推理算法可能已达到退化解(如果数据集较小，则常见于最大似然估计)。

要检查 GMM 算法是否未达到退化解，您应该查看每个分量的方差。如果任何方差接近于零，那么这是不好的。作为替代方案，您应该使用贝叶斯模型而不是最大似然估计(如果您还没有这样做的话)。