java - 如何在给定特征向量和解释方差分数的情况下(本地)执行 PCA 特征选择

Question

我正在尝试在没有 ML 框架的情况下，仅使用 Apache 数学矩阵库，在 Java 中使用 PCA 进行特征选择。

输入测试数据是一个 2D 数组，4 个特征列 x 100 行实例。我大致经历了以下步骤:

1. 加载数据，标准化，存储在RealMatrix类中并计算协方差矩阵:

   PCAResultSet pcaResultSet = new PCAResultSet();
   double[][] data = dataToDoubleArray();
   
   if (this.normalize == true)
       data = StatMath.normalize(data);
   
   RealMatrix origData = MatrixUtils.createRealMatrix(data);
   Covariance covariance = new Covariance(origData);
   
   /* The eigenvectors of the covariance matrix represent the 
    * principal components (the directions of maximum variance) 
    */
   RealMatrix covarianceMatrix = covariance.getCovarianceMatrix();
   

2. 执行特征分解并获取特征向量和特征值

   /* Each of those eigenvectors is associated with an eigenvalue which can be 
    * interpreted as the “length” or “magnitude” of the corresponding eigenvector. 
    * If some eigenvalues have a significantly larger magnitude than others, 
    * then the reduction of the dataset via PCA onto a smaller dimensional subspace 
    * by dropping the “less informative” eigenpairs is reasonable.
    * 
    *  Eigenvectors represent the relative basis (axis) for the data
    *  
    *  Computes new variables from the PCA analysis
    */
   EigenDecomposition decomp = new EigenDecomposition(covarianceMatrix);
   
   /* The numbers on the diagonal of the diagonalized covariance matrix 
    * are called eigenvalues of the covariance matrix. Large eigenvalues 
    * correspond to large variances. 
    */
   double[] eigenvalues = decomp.getRealEigenvalues();
   
   /* The directions of the new rotated axes are called the 
    * eigenvectors of the covariance matrix.
    * 
    * Rows are eigenvectors 
    */
   RealMatrix eigenvectors = decomp.getV(); 
   
   pcaResultSet.setEigenvectors(eigenvectors);
   pcaResultSet.setEigenvalues(eigenvalues);
   

3. 选择前 n 个特征向量(默认情况下已排序)，然后通过将转置后的 n x m 个特征向量与转置后的原始数据相乘来投影数据

   /* Keep the first n-cols corresponding to the
    * highest PCAs
    */
   int rows = eigenvectors.getRowDimension();
   int cols = 1;
   
   RealMatrix evecTran = eigenvectors.getSubMatrix(0, rows - 1, 0, cols - 1).transpose();
   RealMatrix origTran = origData.transpose();
   
   /* The projected data onto the lower-dimension hyperplane */
   RealMatrix dataProj = evecTran.multiply(origTran).transpose();
   

4. 最后计算每个主成分的解释方差

   /* The variance explained ratio of an eigenvalue λ_j is 
    * simply the fraction of an eigenvalue λ_j and the total 
    * sum of the eigenvalues 
    */
   double[] explainedVariance = new double[eigenvalues.length];
   double sum = StatMath.sum(eigenvalues);
   
   for (int i = 0; i < eigenvalues.length; i++)
       explainedVariance[i] = ((eigenvalues[i] / sum) * 100);
   
   pcaResultSet.setExplainedVariance(explainedVariance);
   pcaResultSet.print();
   
   Utils.print("PCA", "Projected Data:", 0, true);
   printMatrix(dataProj);
   
   return pcaResultSet;
   

使用此代码，PC1 解释了大约 90% 的方差，但我如何利用此结果来执行特征选择，以找出要从原始数据中删除哪些特征？

像Weka这样的框架会对特征进行排名，以显示原始集合中的哪种组合产生最高的结果，我正在尝试做同样的事情，但不确定特征向量/decop分数如何映射回原始特征

Answer 1

从你的问题中我了解到你想使用 PCA 进行特征选择或消除。

实现此目的的方法之一是采用重建误差。

要计算重建误差，您需要进行逆 PCA，因此从主成分中您将获得 2D 数组的原始值。我们将此称为reconstrData，您的原始数组是originalData。

现在找到误差矩阵(我们称之为errorMat)，它只不过是reconstrData - originalData

现在，在这个 errorMat 中找到每列的 MAE。现在可以选择 MAE 最低的前 n 列，也可以拒绝 MAE 最高的前 m 列。

抱歉，我不懂JAVA，所以无法发布代码。但我可以在概念上为您提供帮助，所以如果您在实现上述逻辑时遇到任何困难，请告诉我。