image - 如何使用通过PCA获得的特征向量来重新投影我的数据？

Question

我在100张图片上使用主成分分析我的训练数据是矩阵442368是特征，100是图像数量这是我求特征向量的代码。

[ rows, cols] = size(training);
maxVec=rows;
maxVec=min(maxVec,rows);
train_mean=mean(training,2);
A=training-train_mean*ones(1,cols);
A=A'*A;
[evec,eval]=eig(A);
[eval ind]  =  sort(-1*diag(eval));
evec= evec(:, ind(1:100));

现在 442368x100 double是一个100x100倍的特征向量矩阵，现在我已经得到了100个特征向量。
问题：
现在，如果我想用上面计算出的特征向量来转换我的测试数据，那么我该如何使用这些特征向量呢我的测试数据是 evec但我的特征向量矩阵是 442368x50 double内部矩阵维数不一致如何找到测试数据和特征向量矩阵的点积？

Answer 1

你所做的基本上是dimensionality reduction您目前拥有前100个特征向量，用于确定在数据中保留最大方差的基向量现在要做的是将测试数据投影到这些相同的基向量上顺便说一下，协方差矩阵的计算确实有错误这是在每个功能的基础上执行的，但您是在每个图像的基础上执行的所以这是不对的你必须在计算中交换转置的顺序您还必须除以示例总数减去1才能完成计算并produce an unbiased estimator：

A = (1/(cols-1))*(A*A.');

先转置 A然后乘法假定每个列都是一个特性，但对您来说不是这样如果你还记得降维，我们现在有一个特征向量矩阵，其中每列是一个特征向量如果您想最终执行归约，它只是数据矩阵的乘法，即用特征向量矩阵减去平均值需要注意的是，矩阵中特征向量的顺序是这样的：包含可以由数据解释的最大方差的基向量首先出现这就是为什么对特征值进行排序，因为特征值最大的特征向量体现了这一特性但是，此操作假定每一列都是一个要素，并且数据矩阵使每一行都是一个要素如果要对原始训练数据执行重建，则在执行此乘法之前，需要对减去的平均值数据进行转置然而，这将使每一个例子在一行从代码中，每列都是一个示例，因此您可以转置特征向量矩阵：

% Assuming you did (1/(cols-1))*(A*A.') to compute the eigenvectors
Atrain = training - train_mean*ones(1, cols);
Areconstruct = evec.' * Atrain;

Areconstruct将包含重构的数据，其中每个列都是对应的重新投影示例我还需要存储平均减特征矩阵，因为您的代码会用协方差矩阵覆盖它如果要对测试数据执行此重新投影，则必须使用从训练数据计算出的特征进行减法运算，然后应用上面的乘法运算假设您的数据存储在 test_data中，只需执行以下操作：

cols_test = size(test_data, 2);
B = test_data - train_mean*ones(1, cols_test);
Breconstruct = evec.' * B;

Breconstruct包含重新投影到基向量上的数据，该基向量现在是一个 100 x 50矩阵，其中每个列都是来自测试数据的重新投影示例。
一句警告
这段代码可能运行得很慢，或者最坏的情况根本不运行，因为协方差矩阵很大在尝试降维之前，最好尽可能先减少特征的总数正如您在注释中所述，每个示例都只是图像的展开版本（作为长向量），因此请尝试将图像大小调整为可管理的大小此外，通常在使用之前对调整大小的图像进行低通滤波（例如高斯模糊），因为它可以防止混叠。
另外，请查看我在本文后面使用奇异值分解的建议它应该比使用协方差矩阵的特征向量更快。
你能让你的代码更有效率吗？
我将使用 bsxfun改进此代码，还可以使用 sort with the descend flag以便在排序之前不必将值乘以-1即可按降序获取索引 bsxfun允许您有效地平均减去您的特征，而无需重复每个特征的平均值以获得尽可能多的示例（即使用 ones(1, cols)）。
明确地：

[ rows, cols] = size(training);
maxVec=rows;
maxVec=min(maxVec,rows);
train_mean=mean(training,2);
A = bsxfun(@minus, training, train_mean); % Change
%A=training-train_mean*ones(1,cols); 
Acov = (1/(cols-1))*(A*A.'); % Change - correct formula
[evec,eval]=eig(Acov);
%[eval ind]  =  sort(-1*diag(eval));
[eval, ind]  =  sort(diag(eval), 'descend'); % Change
evec= evec(:, ind(1:100));

最后对于您的测试数据：

B = bsxfun(@minus, test_data, train_mean);
Breconstruct = evec.' * B;

一句忠告-使用SVD
使用特征向量进行降维是不稳定的，特别是在计算高维数据的特征向量时，比如你所拥有的数据建议您改用 Singular Value Decomposition（SVD）框架您可以查看关于协方差矩阵特征向量之间关系的交叉验证帖子，并使用SVD执行PCA：
https://stats.stackexchange.com/questions/134282/relationship-between-svd-and-pca-how-to-use-svd-to-perform-pca
因此，在协方差矩阵上计算SVD， V列是执行计算所需的特征向量SVD的另一个好处是特征向量已经基于它们的方差排序，因此 V的第一列将是指向方差最大的方向的基向量因此，不需要像对特征向量那样进行排序。
因此，您可以将其用于SVD：

Acov = (1/(cols-1))*(A*A.'); 
[U,S,V] = svd(Acov);
Areconstruct = V(:, 1:100).' * A;

对于您的测试数据：

B = bsxfun(@minus, test_data, train_mean);
Breconstruct = V(:, 1:100).' * B;

进一步阅读
你可以看看我的文章，关于降维，使用特征向量和特征值，从协方差矩阵，我的答案： What does selecting the largest eigenvalues and eigenvectors in the covariance matrix mean in data analysis?
它还简要概述了为什么执行此操作来执行PCA或降维但是，我强烈建议您使用SVD来做您需要的事情它比使用协方差矩阵的特征向量更快更稳定。