r - 什么时候在 RStudio 中将数据存储在内存之外变得有益？

Question

我正在处理 8Gb ( HIGGS dataset) 的大型数据集。在查看 dbplyr 包的插图时(参见 vignette('dbplyr'))，我遇到了这一行，

(If your data fits in memory there is no advantage to putting it in a database: it will only be slower and more frustrating.)

HIGGS 数据集确实适合我机器的内存，我的问题是:

1. 这总是是真的吗？如果不是，那什么时候不是真的？
2. 更一般地说，将数据保留在内存之外是否有任何性能优势，即使它适合，为什么？

编辑:查看@Waldi 提供的链接后:RAM 100x faster than HDD ，另一个问题是这对 SSD 有何影响？

Answer 1

R 是内存密集型的，因此最好获得尽可能多的 RAM。您拥有的 RAM 数量会限制您可以分析的数据集的大小。

添加固态驱动器 (SSD) 通常不会对 R – vignette(dbplyr) 的速度产生太大影响，因为 R 会将对象加载到 RAM 中。然而，启动时间的减少和increase in your overall productivity since I/0 is much faster购买 SSD 驱动器非常划算。

library(benchmarkme) 是用于评估您的 CPU 数字运算能力的包 benchmarkme。 CPU 内核是您想要探索大数据性能的另一个领域。如果您使用的是 CPU，内核越多越好。

library(Multidplyr) 是 dplyr 的后端 partitions a data frame across multiple cores.这最大限度地减少了移动数据所花费的时间，并最大限度地提高了并行性能。