matlab - 使用 PCA 降维 - MATLAB

Question

我正在尝试使用 PCA 降低训练集的维数。我遇到了两种方法。

[V,U,eigen]=pca(train_x);
eigen_sum=0;
for lamda=1:length(eigen)
     eigen_sum=eigen_sum+eigen(lamda,1);
     if(eigen_sum/sum(eigen)>=0.90)
           break;
     end    

end
train_x=train_x*V(:, 1:lamda);

在这里，我简单地使用特征值矩阵来重建训练集，其中较少数量的特征由描述原始集 90% 的主成分确定。

我发现的替代方法几乎完全相同，保存最后一行，更改为:

train_x=U(:,1:lamda);

换句话说，我们将训练集作为原始训练集到某些特征 lamda 的主成分表示。

这两种方法似乎都会产生相似的结果(样本外测试误差)，但存在差异，无论差异多么微小。

我的问题是，哪一种方法是正确的？

Answer 1

答案取决于您的数据以及您想要执行的操作。

使用您的变量名称。一般来说，很容易预期 pca 的输出保持

U = train_x * V

但这仅在您的数据标准化时才成立，特别是如果您已经从每个组件中删除了平均值。如果没有，那么可以期待的是

U = train_x * V - mean(train_x * V)

在这方面，您是否想要在处理数据之前删除或维护数据的平均值，取决于您的应用程序。

还值得注意的是，即使在处理之前去除均值，也可能存在一些微小的差异，但会在浮点精度误差左右

((train_x * V) - U) ./ U ~~ 1.0e-15

并且可以安全地忽略此错误