r - fread 与 gunzip : What's the more memory efficient way?

Question

如果我有一个用 gzip 压缩的大数据文件，请说 dat.gz , 更何况 内存高效的？

mydat <- fread("gunzip -c dat.gz")

或者，首先解压/解压文件， dat ，然后做

mydat <- fread("dat")

我关心的是内存而不是速度，以防止 R 崩溃。

Answer 1

我写了一个 5000x5000 的矩阵到 temp.csv 并使用 profvis 分析了两种方法的内存使用情况:

profvis({system("gunzip -c temp.csv.gz > temp.csv"); mat <- fread("temp.csv")})

内存使用:190.9 MB

profvis({fread("gunzip -c temp.csv.gz")})

内存使用:190.8 MB

我运行了几次，两个命令的内存使用量在 190-191 之间波动。所以我得出的结论是内存使用是一样的。