matlab - 为什么 Scipy 和 MATLAB 的主成分值不一致？

Question

我正在训练在 python 上对 MNIST 进行一些 PCA 重建，并将它们与我在 maltab 中的(旧)重建进行比较，我碰巧发现我的重建不一致。经过一番调试后，我决定打印每个组件主要组件的独特特征，以揭示它们是否相同，但我惊讶地发现它们不相同。我打印了所有组件的总和，但得到了不同的数字。我在 matlab 中做了以下工作:

[coeff, ~, ~, ~, ~, mu] = pca(X_train);
U = coeff(:,1:K)
U_fingerprint = sum(U(:)) 
%print 31.0244

在 python/scipy 中:

pca = pca.fit(X_train)
U = pca.components_
print 'U_fingerprint', np.sum(U)
# prints 12.814

为什么 twi PCA 没有计算出相同的值？

<小时/>

我所有的尝试和解决这个问题:

我发现这一点的原因是，当我重建 MNIST 图像时，Python 重建结果与原始图像更加接近。我在 python 中遇到了 0.0221556788645 的错误，而在 MATLAB 中遇到了大小为 29.07578 的错误。为了弄清楚差异来自哪里，我决定对数据集进行指纹识别(也许它们的标准化方式不同)。因此，我获得了 MNIST 数据集的两个独立副本(通过除以 255 进行标准化)并获得了指纹(将数据集中的所有数字相加):

print np.sum(x_train) # from keras
print np.sum(X_train)+np.sum(X_cv) # from TensorFlow
6.14628e+06
6146269.1585420668

它们(本质上)是相同的(一个副本来自tensorflow MNIST，另一个副本来自Keras MNIST，请注意，MNIST 训练数据集大约少了 1000 个训练集，因此您需要附加缺失的训练集)。令我惊讶的是，我的 MATLAB 数据具有相同的指纹:

data_fingerprint = sum(X_train(:))
% prints data_fingerprint = 6.1463e+06

这意味着数据集完全相同。很好，所以标准化数据不是问题。

在我的 MATLAB 脚本中，我实际上是手动计算重建，如下所示:

U = coeff(:,1:K)
X_tilde_train = (U * U' * X_train);
train_error_PCA = (1/N_train)*norm( X_tilde_train - X_train ,'fro')^2
%train_error_PCA = 29.0759

所以我认为这可能是问题所在，因为我正在使用 python 提供的接口(interface)来计算重建，如下所示:

pca = PCA(n_components=k)
pca = pca.fit(X_train)
X_pca = pca.transform(X_train) # M_train x K
#print 'X_pca' , X_pca.shape
X_reconstruct = pca.inverse_transform(X_pca)
print 'tensorflow error: ',(1.0/X_train.shape[0])*LA.norm(X_reconstruct_tf - X_train)
print 'keras error: ',(1.0/x_train.shape[0])*LA.norm(X_reconstruct_keras - x_train)
#tensorflow error:  0.0221556788645
#keras error:  0.0212030354818

这会导致不同的误差值 0.022 与 29.07，差异令人震惊!

因此，我决定在我的 python 脚本中编写精确的重建公式:

pca = PCA(n_components=k)
pca = pca.fit(X_train)
U = pca.components_
print 'U_fingerprint', np.sum(U)
X_my_reconstruct = np.dot(  U.T , np.dot(U, X_train.T) )
print 'U error: ',(1.0/X_train.shape[0])*LA.norm(X_reconstruct_tf - X_train)
# U error:  0.0221556788645

令我惊讶的是，它与我使用该接口(interface)计算的 MNIST 错误有相同的错误。因此，我得出的结论是，我并没有像我想象的那样对 PCA 产生误解。

所有这些都促使我检查主成分的实际位置，令我惊讶的是 scipy 和 MATLAB 的 PCA 值具有不同的指纹。

有人知道为什么或发生了什么事吗？

<小时/>

正如 Warren 所建议的，主成分分析分量(特征向量)可能具有不同的符号。通过添加幅度中的所有组件来进行指纹打印后，我发现它们具有相同的指纹:

[coeff, ~, ~, ~, ~, mu] = pca(X_train);
K=12;
U = coeff(:,1:K)
U_fingerprint = sumabs(U(:))
% U_fingerprint = 190.8430

对于Python:

k=12
pca = PCA(n_components=k)
pca = pca.fit(X_train)
print 'U_fingerprint', np.sum(np.absolute(U))
# U_fingerprint 190.843

这意味着差异一定是由于 (pca) U 向量的符号不同造成的。我觉得这很令人惊讶，我认为这应该会产生很大的影响，我什至不认为它会产生很大的影响。我想我错了？

Answer 1

我不知道这是否是问题所在，但肯定可能是。主成分向量就像特征向量:如果将向量乘以 -1，它仍然是有效的 PCA 向量。 matlab 计算的某些向量可能具有与 python 计算的向量不同的符号。这将导致截然不同的金额。

例如，matlab文档中有这样的例子:

 coeff = pca(ingredients)

 coeff =

   -0.0678   -0.6460    0.5673    0.5062
   -0.6785   -0.0200   -0.5440    0.4933
    0.0290    0.7553    0.4036    0.5156
    0.7309   -0.1085   -0.4684    0.4844

我有自己的 python PCA 代码，并且使用与 matlab 中相同的输入，它会生成以下系数数组:

[[ 0.0678  0.646  -0.5673  0.5062]
 [ 0.6785  0.02    0.544   0.4933]
 [-0.029  -0.7553 -0.4036  0.5156]
 [-0.7309  0.1085  0.4684  0.4844]]

因此，不要简单地对系数数组求和，而是尝试对系数的绝对值求和。或者，在求和之前确保所有向量具有相同的符号约定。例如，您可以通过将每一列乘以该列中第一个元素的符号(假设它们都不为零)来做到这一点。