r - 在 R 中对非常大的数据集进行 PCA-6ren

r - 在 R 中对非常大的数据集进行 PCA

转载作者：行者123 更新时间：2023-12-04 11:34:18

27

4

我在 CSV 文件中有一个非常大的训练集(~2Gb)。文件是太大直接读入内存(read.csv() 使计算机停止)，我想使用 PCA 减小数据文件的大小。问题是(据我所知)我需要将文件读入内存才能运行 PCA 算法(例如， princomp() )。

我试过 bigmemory以 big.matrix 形式读取文件的包，但是 princomp在 big.matrix 上不起作用对象，它看起来不像 big.matrix可以转换成类似 data.frame 的东西.

有没有办法运行princomp在我丢失的大数据文件上？

我是 R 的相对新手，所以其中一些对于经验丰富的用户来说可能是显而易见的(提前道歉)。

感谢您提供任何信息。

最佳答案

我解决它的方法是迭代计算样本协方差矩阵。通过这种方式，您只需要任何时间点的数据子集。可以使用 readLines 仅读取数据的一个子集。您可以在其中打开与文件的连接并迭代读取。该算法看起来像(它是一个两步算法):

计算每列的平均值(假设是变量)

打开文件连接 ( con = open(...) )

读取 1000 行 ( readLines(con, n = 1000) )

计算每列的平方和

将这些平方和添加到变量 ( sos_column = sos_column + new_sos )

重复 2-4 直到文件结束。

除以行数减 1 得到平均值。

计算协方差矩阵:

打开文件连接 ( con = open(...) )

读取 1000 行 ( readLines(con, n = 1000) )

使用 crossprod 计算所有叉积

将这些交叉积保存在变量

中

重复 2-4 直到文件结束。

除以行数减 1 得到协方差。

当你有协方差矩阵时，只需调用 princomp与 covmat = your_covmat和 princomp将跳过自己计算协方差矩阵。

通过这种方式，您可以处理的数据集比可用的 RAM 大得多。在迭代过程中，内存使用量大致是块占用的内存(例如 1000 行)，之后内存使用量仅限于协方差矩阵(nvar * nvar doubles)。

关于r - 在 R 中对非常大的数据集进行 PCA，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12670972/

27

4

0

文章推荐： terraform - 找不到模块根目录。没有什么可以输出

文章推荐： chart.js - 编辑 Chart.js 图例模板

pca - 使用 PCA 的边界框
我尝试用 PCA 构建一个定向边界框。在图片中您可以看到我的结果: 红点:点云蓝色向量:PCA 分量我尝试将点投影到向量上，以获得最小值、最大值和平均值。但是我现在如何定义我的盒子呢？有什么想法
java - PCA pca = 新PCA
我们如何将 PCA 应用于一维数组？ double[][] data = new double [1][600]; PCA pca = new PCA(data, 20); data = pca.ge
pca - 什么时候使用 ICA 而不是 PCA？
我知道PCA和ICA都用于降维，并且在PCA中主成分是正交的(不一定独立)，但在ICA中它们是独立的。有人能澄清一下什么时候使用 ICA 而不是 PCA 更好吗？最佳答案 ICA 不是一种降维技术。
pca - scikit-learning 如何对 libsvm 格式的稀疏数据执行 PCA？
我正在使用 scikit-learning 做一些降维任务。我的训练/测试数据采用 libsvm 格式。它是一个有 50 万列的大型稀疏矩阵。我使用 load_svmlight_file 函数加载
python - PCA 与 sklearn。无法使用 PCA 找出特征选择
我一直在尝试使用 PCA 进行降维。我目前有一个大小为 (100, 100) 的图像，我正在使用一个由 140 个 Gabor 滤波器组成的滤波器组，其中每个滤波器都会给我一个响应，这又是一个 (10
python - sklearn 上的 PCA - 如何解释 pca.components_
我使用以下简单代码在具有 10 个特征的数据框上运行 PCA: pca = PCA() fit = pca.fit(dfPca) pca.explained_variance_ratio_ 的结果显示
python - Orange PCA 和 scikit-learn PCA 之间的不同结果
我正在使用 scikit-learn PCA查找具有大约 20000 个特征和 400 多个样本的数据集的主要成分。但是，与Orange3 PCA相比应该使用 scikit-learn PCA，我得
python - Sklearn PCA 是 pca.components_ 的 loadings？
Sklearn PCA 是 pca.components_ 的 loadings？我很确定是这样，但我正在尝试遵循一篇研究论文，但我从他们的加载中得到了不同的结果。我在 sklearn 文档中找不到它
r - R 中的 PCA 使用 caret 包与 prcomp PCA
我有一个包含 50 多个变量的数据框 data，我正在尝试使用 caret 包在 R 中执行 PCA。 library(caret) library(e1071) trans <- preProces
python - 如何使用 Robust PCA 输出作为传统 PCA 的主成分(特征)向量
我正在使用 PCA 来降低 N 维数据集的维数，但我想增强对大异常值的稳健性，因此我一直在研究 Robust PCA 代码。对于传统的 PCA，我使用的是 python 的 sklearn.deco
apache-spark - Pyspark 和 PCA : How can I extract the eigenvectors of this PCA? 如何计算它们解释的方差？
我正在降低 Spark DataFrame 的维度与 PCA带有 pyspark 的模型(使用 spark ml 库)如下: pca = PCA(k=3, inputCol="features", o
python - 使用 python 的 sklearn 和 matlab 的 pca 的 PCA 的不同结果
我在 matlab 和 python 中生成相同的矩阵: 1 2 3 4 5 6 7 8 9 10 11 12 13
聊聊基于Alink库的主成分分析(PCA)
概述主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维和特征提取技术，用于将高维数据转换为低维的特征空间。其目标是通过线性变换将原始特征转化为
主成分分析(PCA)介绍
目录计算过程投影分量计算假设你有一家理发店,已经记录了过去一年中所有顾客的头发长度和发型偏好的数据。现在你想从这些数据中提取一些主要的信息,比如顾客最常
python - 我是否必须分别为训练和测试数据做拟合 PCA
我正在考虑使用 PCA(TruncatedSVD) 来减少我的稀疏矩阵的维数。我将我的数据拆分为训练和测试拆分。 X_train , X_test, y_train, y_test = train_
r - 如何对具有多个组的数据集对每个组进行 PCA？
我有来自四个群体、四个处理和三个重复的个体数据集。每个个体仅在一个群体、处理和重复组合中。我对每个人进行了四次测量。我想对每个种群、底物和重复组合的这些测量进行 PCA。我知道如何对所有个体进行 P
python - PCA - 取平均值的差异
在考虑均值时，数字 1 和 2 背后的直觉是什么？这将如何影响性能和准确性？ 1号: pca = decomposition.PCA(n_components=4) X_centere
Scikit-Learn PCA
我正在使用来自 here 的输入数据(见第 3.1 节)。我正在尝试使用 scikit-learn 重现它们的协方差矩阵、特征值和特征向量。但是，我无法重现数据源中显示的结果。我也在别处看到过这个输
r - pca - 哪个特征向量对应于哪个特征值
我要做的事情如下:我有一套 Vektors v1-vn对于这些，我需要协方差矩阵(我在做 pca 时得到的)。我还需要协方差矩阵的特征值和特征向量。我按降序对特征值进行排序，然后根据相应的特征值对特征
OpenCV PCA 不可初始化
给定 http://docs.opencv.org/modules/core/doc/operations_on_arrays.html PCA 应该可以通过传递一个矩阵来初始化。 cv::Mat m

首页

博学

6Ren·AI

商城

r - 在 R 中对非常大的数据集进行 PCA