r - 将 20 GB csv 文件加载到 R 中的最佳方法是什么？

Question

我有一个 20 GB 的数据集，我必须在 R 中使用它。现在，我已经阅读了几篇如何处理这个问题的文章，但我不知道读取 20 GB 的最佳和最有效的方法是什么R 中的数据。

值得一提的是，我不需要所有数据，因此在继续构建模型之前，我必须过滤/清理数据。

用 Chunks 将数据集读入 R 是个主意吗？将数据读入 block 到 R 中的最佳方法是什么？

我希望有人能帮助我。

亲切的问候，

马蒂斯

Answer 1

您可以在不同的部分加载数据。就像您在评论中建议的那样，您可以选择 10 000 行，然后再选择 10 000 行，依此类推。

由于您使用的是 .csv 文件，我建议您使用 read.csv()功能。

示例:

data <- read.csv("file = C:\Path\To\YourFile.csv", nrows = 10000, skip = 10000)

nrows = 您希望 R 读取的行数。

skip = 您希望 R 跳过的行数。