r - fread() 从存档中读取文件

Question

我想知道从存档文件(在我的例子中为 zip 存档)读取 data.table 的推荐方法是什么。一个明显的选择是将其解压缩到临时文件，然后照常使用 fread() 它。我不想费心创建新文件，因此我使用 unz() 连接中的 read.table() ，然后使用 data 进行转换。表():

mydt <- data.table(read.table(unz(myzipfilename, myfilename)))

这工作正常，但 read.table() 对于大文件来说很慢，而 fread() 无法读取 unz() 连接直接地。我想知道是否有更好的解决方案。

Answer 1

查看:Read Ziped CSV File with fread为了避免 tmp 文件，您可以使用 unzip 和 -p 提取文件进行管道，没有消息

您可以将此类语句与 fread 一起使用。

x = fread('unzip -p test/allRequests.csv.zip')

或者使用gunzip

x = fread('gunzip -cq test/allRequests.csv.gz')

您还可以使用 grep 或其他工具。