python - Python 中的主成分分析 : Analytical Mistake

Question

我正在使用 Python 实现用于人脸识别的主成分分析，而不使用 中已定义的 PCA 方法numpy 或 OpenCV。但我的结果简直就是垃圾。

我阅读了 OpenCV 的 doc 的文档和算法描述。但有些事情还不清楚。

• 如果X = {x1, x2, ..., xn} 那么我相信它不是计算协方差矩阵时使用的 X 矩阵？但是您必须按照前两个步骤中的说明减去平均值等。
• 特征向量必须按照特征值降序排列。是否必须一边看对应特征值的绝对值一边排序？无论如何，顺序不是主要问题，因为我绘制了所有特征向量，因此我可以相应地重新排列它们。我认为我犯了一个分析错误。

我实现了以下内容:

MU = X.mean(axis=0)
for i in range(n):
    X[i,:] -= MU

S = (np.dot(X, X.T) / float(n))
#Hermitian (or symmetric) matrix.
eigenvalues, eigenvectors = numpy.linalg.eigh(S)
eigenvectors = numpy.dot(X.T, eigenvectors)
for i in range(n):
    eigenvectors[:,i] = normalize_vector(eigenvectors[:,i])

请注意，样本值存储在行中而不是列中。因此，X 的形状为 nxd，其中 n 是样本数量，d 是样本维度。 p>

上图为引用。第一个是均值，后面三个是最大特征向量。下图是我的结果。第一个是均值，下面是按某种顺序排列的所有特征向量。但它们似乎与结果不符。

cv2.PCACompute(X, 6) 仍然会产生更好的结果。

Answer 1

第一个问题回答得很好here .

对于第二个，答案是您需要根据相应特征值的值对特征向量进行排序。为此，您可以使用 python np.argsort() ，然后反转此顺序(argsort 顺序从小到大):

indexes = np.argsort(eigenvalues)[::-1]
eigval = eigenvalues[indexes]
eigvec = eigenvectors[:,indexes]

<小时/>

检查您的代码，我刚刚发现了几个问题:

1. 现在，您将获得所有特征向量，您忽略了nb_components参数，您应该只采用您所要求的向量。这是用

   制作的

   特征向量 = 特征向量[:,索引][0:nb_components]

2. 对于归一化向量(在 pca 函数内)，您使用从 0 到 n 的 for 循环，但如果只要求您提供(比方说)3 个特征向量，您只需要有 3 列。要解决这个问题，请从 0 迭代到 nb_components。

除此之外，您的代码运行完美。我尝试只使用 3 个主要组件，最终结果为 6/6。在我看来，显示特征向量时的差异只是从 float 转换为 uint8 以使用 imshow 时的表示问题。

关于负特征值，它只是一个 eigh 的问题。由于特征值显示方向上的方差，因此我们关心绝对值，但如果更改符号，我们还必须更改“方向”(特征向量)。您可以将负特征值及其相应的特征向量与 -1.0 相乘(请参阅 this ):

s = np.where(eigenvalues < 0)
eigenvalues[s] = eigenvalues[s] * -1.0
eigenvectors[:,s] = eigenvectors[:,s] * -1.0

您还可以使用 numpy.linalg.svd( docs ) 解决此问题，但它应该比 numpy.linalg.eigh 慢。

总而言之，这是我从你的代码中得出的代码(我在处理此处时删除了所有注释以使其更短):

def pca(X, nb_components=0):
    [n,d] = X.shape
    if (nb_components <= 0) or (nb_components>6):
        nb_components = n

    MU = X.mean(axis=0)
    for i in range(n):
        X[i,:] -= MU

    S = (np.dot(X, X.T) / float(n))

    eigenvalues, eigenvectors = np.linalg.eigh(S)

    s = np.where(eigenvalues < 0)
    eigenvalues[s] = eigenvalues[s] * -1.0
    eigenvectors[:,s] = eigenvectors[:,s] * -1.0

    indexes = np.argsort(eigenvalues)[::-1]
    eigenvalues = eigenvalues[indexes]
    eigenvectors = eigenvectors[:,indexes][:,0:nb_components]

    eigenvectors = np.dot(X.T, eigenvectors)

    for i in range(nb_components):
        eigenvectors[:,i] = normalize_vector(eigenvectors[:,i])

    return (eigenvalues, eigenvectors, MU)