machine-learning - PCA重构中为什么要添加均值？

Question

假设 X 是我们的数据集(仍未居中)，X_cent 是我们的居中数据集(X_cent = X -mean(X))。

如果我们以这种方式进行 PCA 投影 Z_cent = F*X_cent，其中 F 是主成分矩阵，那么很明显我们需要在重建 Z_cent 后添加mean(X)。

但是如果我们以 Z = F*X 的方式进行 PCA 投影呢？在这种情况下，我们不需要在重建后添加mean(X)，但它会给我们另一个结果。

我认为这个过程(构造-重建)在应用于非中心数据(在我们的例子中是 X)时出现了问题。谁能解释它是如何工作的？为什么我们不能在没有这种减法/加法的情况下进行构建/重建阶段？

提前谢谢您。

Answer 1

如果您保留所有主成分，那么问题中描述的中心向量和非中心向量的重建将是相同的。问题(如您的评论中所示)是您仅保留 K 主要组件。当您掉落电脑时，您会丢失信息，因此重建将包含错误。由于您不必在其中一项重建中重建均值，因此不会引入错误。那里的平均值所以两个版本的重建误差会不同。

使用少于所有 PC 的重建并不像乘以特征向量的转置 (F') 那么简单，因为您需要用零填充转换后的数据，但为了简单起见，我在这里忽略它。您的两个重建如下所示:

R1 = F'*F*X
R2 = F'*F*X_cent + X_mean
   = F'*F*(X - X_mean) + X_mean
   = F'*F*X - F'*F*X_mean + X_mean

由于重建是有损的，一般来说，对于矩阵 Y，F'*F*Y != Y。如果您重新训练所有 PC，您将得到 R1 - R2 = 0。但由于您只保留 PC 的子集，因此您的两次重建将有所不同

R2 - R1 = X_mean - F'*F*X_mean

您在评论中提出的关于为什么重建 X_cent 而不是 X 更好的后续问题有点微妙，实际上取决于您为什么要进行 PCA第一名。最根本的原因是，PC 首先是相对于均值而言的，因此在转换/旋转之前不将数据居中，您并没有真正去关联特征。另一个原因是，当首先对数据进行居中时，转换后的数据的数值通常会小几个数量级。