matlab - 解释手写数字识别的前几个 PCA 组件

Question

因此，在 Matlab 中，我对手写数字执行 PCA。本质上，我说的是 30*30 维图片，即 900 像素，并且我在 PCA 之后考虑捕获大部分方差的成分，比如基于某个阈值的前 80 个主成分(PC)。现在这 80 台 PC 的尺寸也为 900，当我使用 imshow 绘制它们时，我得到一些图像，比如看起来像 0、6、3、5 等的东西。这些前几台 PC 的解释是什么(out我提取的 80 个)？

Answer 1

首先介绍一下术语:PCA 找到数据协方差矩阵的特征向量，然后将数据转换为特征向量的基。此操作的结果有两部分:变换后的数据和用于变换的特征向量。通常第一个称为主成分 (PC)。第二种模式没有既定的名称，但我喜欢“主模式”(PM) 这个术语。你的问题是关于PM的解释。

对 PM 的解释通常是困难的，甚至是不可能的。当然，它们有一个简单的技术解释，PCA 寻找数据空间中发生最大变化量的方向，而 PM 就是这些方向。对于第一个分量，这种最大化是自由的，并且捕获了变化发生的主要方向。后来的组件被限制为与之前的组件正交，这通常会导致越来越复杂的高频模式，而这些模式越来越难以解释。

对于您的数据集，情况可能有所不同，因为它可能在非常高维的空间中具有某种簇结构，其中簇对应于数字 0-9。它有been observed在这种情况下，PCA 和 k 均值聚类之间的对应关系很弱，因此第一个 PM 倾向于恢复聚类质心所跨越的空间。在这种情况下，第一个 PM 将是簇质心模式的混合，甚至可能与这些模式大致一致。我认为这可以解释您的观察结果。

<小时/>

针对 OP 评论的更多信息:

上面引用的维基百科片段引用了 Ding 和 He (2004)，K-means Clustering via Primary Component Analysis (link) 。他们在摘要中写道:“在这里，我们证明主成分是 K 均值聚类的离散聚类成员指标的连续解。”据我理解，这意味着“分量负载”，即给定数据点的主分量值与或至少与该数据点是否属于集群的指标相关。他们继续说道，“同样地，我们表明簇质心所跨越的子空间是由在 K − 1 项处截断的数据协方差矩阵的谱展开给出的。”这意味着前 K – 1 个主模式(特征向量)所跨越的数据空间(在您的情况下为 900 维)的子空间是或接近于簇质心(之间的差异)所跨越的空间(每个数字的平均图像)。如果是这种情况，则大部分簇间方差都由这些第一主成分捕获。

这样想:通过从一组 10 个“典型”30x30 图像中重建所有 30x30 图像，PCA 可以将数据的 900 维减少到大约 10 维。这意味着，每个图像大约可以由 10 个数字而不是 900 个数字来编码。为了实现这一点，“典型”图像必须类似于“0”、“1”等的平均外观。在最简单的情况下，这 10 个图像可能只是平均值“0”、平均值“1”等本身。通常情况并非如此，但也可能大致如此。这有帮助吗？我认为“0”对应最强的PC只是巧合。