r - 存储和使用对于内存来说太大的数据帧的最佳实践？

Question

我正在处理一个大型数据帧，并且遇到了 RAM 限制。此时，我可能需要使用磁盘上的序列化版本。有a few packages支持内存不足操作，但我不确定哪一个能满足我的需求。我更愿意将所有内容保留在数据框中，因此 ff 包看起来令人鼓舞，但仍然存在我无法解决的兼容性问题。

当您意识到数据已达到内存不足的程度时，第一个使用的工具是什么？

Answer 1

您可能想查看这些软件包:

• ff用于“平面文件”存储和非常高效的检索(可以执行 data.frames；不同的数据类型)
• bigmemory用于 R 内存不足但仍在 RAM(或文件支持)中使用(只能做矩阵；相同的数据类型)
• biglm用于与 lm() 和 glm() 样式模型拟合的内存不足模型。

另请参阅High-Performance Computing任务 View 。