r - 保存/加载 data.table 的最快方法

Question

我想要做的实际上是使用最快的可用方法来存储 data.table s 进行进一步处理。

类似的东西:

从 CSV/RDS 读取原始数据。

将其转换为 data.table .

将其保存为为重新阅读而优化的格式(RDS 似乎不适用于 data.table ，对吗？还有其他二进制选项吗？)

继续处理第 3 步中的文件，直接将其读取为 data.table一遍又一遍，做切片，分组，绘图，...

第 3 步的最佳选择是什么？

Answer 1

好的，这里对我正在使用的特定数据集进行了一些测量。原本是在RDS里面，读取需要60+秒。

之后 DT 被保存为内部 XDR 和 SQLite 数据库，两者都未压缩。

save()/load() 对最快，加载时间为 11.7-11.8 秒

SQLite (dbReadTable) 非常接近，12.0-12.1 秒。 DB 的文件大小大约小 30%，所以我可以想象 SQLite 比 save()/load() 更快的情况。

现在 save()/load() 是给我的，它也保留了类