r - 大矩阵 : solve(crossprod(X)) when dim(X) = 100, 000:5000

Question

我需要在大数据矩阵上运行一个简单的两阶段最小二乘回归。这只是需要一些 crossprod()和 solve()命令，但矩阵的维度为 100,000 x 5000 矩阵。我的理解是，将这样的矩阵保存在内存中将占用不到 4GB 的内存。不幸的是，我的 64 位 Win7 机器只有 8GB 的​​ RAM。当我尝试操作有问题的矩阵时，我收到通常的“无法分配大小向量”消息。

我已经考虑了许多选项，例如 ff和 bigmemory包。但是，我需要的矩阵运算的基本 R 函数只支持通常的矩阵对象类型，而不是 bigmatrix类型。

似乎可以从 biglm() 扩展代码，但我的这个项目时间很紧，所以我想和大家一起检查一下，看看是否有针对此类问题的现成解决方案。如果之前解决过这个问题(我找不到它)或者问题太笼统，我深表歉意。

Answer 1

是的，biglm 中有现成的解决方案，您已经确定的包。线性回归可以使用更新方案；该基本属性在包中实现。

将您的数据转储到磁盘，对 SQLite 说，并研究包文档并继续进行，例如，10 个块，每个块 10,000。