r - 如何使用任何 R 包(如 ff 或 data.table)剪切大型 csv 文件？

Question

我想剪切大型 csv 文件(文件大小大于 RAM 大小)并使用它们或将每个文件保存在磁盘中供以后使用。哪个 R 包最适合对大文件执行此操作？

Answer 1

我没试过，但使用 skip和 nrows read.table 中的参数或 read.csv值得一试。这些来自 ?read.table

skip integer: the number of lines of the data file to skip before beginning to read data.

nrows integer: the maximum number of rows to read in. Negative and other invalid values are ignored.

为了避免最后出现一些麻烦的问题，您需要进行一些错误处理。换句话说，我不知道当跳过值大于大 csv 中的行数时会发生什么。

附言我也不知道是否 header=TRUE是否影响跳过，您还必须检查。