machine-learning - 主成分分析，有多少个成分？

Question

我不明白PCA的一点。 PCA 返回使每个特征的方差最大化的方向？我的意思是，它将为原始空间的每个特征返回一个组件，并且只有 k 个最大的组件将用作新子空间的轴，对吧？那么实际上，如果我在 50 维空间中并且 49 个特征具有很强的方差，我可以直接传递到 49 维空间吗？当然，我用的是简单的英语，没有任何正式或技术性的内容。

谢谢

Answer 1

如果您的原始数据有 50 个维度，则 PCA 将返回 50 个主成分。您可以选择这些主成分的子集k来解释最大的方差，通常至少可以解释 90% 的方差。您使用的 PCA 软件通常会计算每个主成分解释了多少方差，因此只需将方差相加并选择可以达到总方差 90% 的前 k 个。看这个PCA tutorial :

In general, we would like to choose the smallest K such that 0.85 to 0.99 (equivalently, 85% to 95%) of the total variance is explained, where these values follow from PCA best practices.

... When we say that PCA can reduce dimensionality, we mean that PCA can compute principal components and the user can choose the smallest number K of them that explain 0.95 of the variance. A subjectively satisfactory result would be when K is small relative to the original number of features D.