r - 分块处理数据

Question

我有一个包含大约 800 万个观测值和 5 个字符变量的数据集“X” - 称它们为 A、B、C、D 和 E。我正在尝试使用 RecordLinkage 包计算 D 和 E 之间的 jaro-winkler 统计数据:

library(RecordLinkage)
X$jw = jarowinkler(X$D, X$E)

问题是，越来越多的内存不断被耗尽，直到计算机完全死机。有没有什么方法可以自动以“ block ”的形式进行处理，而无需实际手动将 X 预先分割成相当小的尺寸并处理各个子集？

换句话说，是否有任何内置函数可以进行分割和处理，而无需我预先进行？

Answer 1

好吧，最简单的解决方案可能是使用 read.table (或 CSV 或其他)的 nrows 参数。将 nrows 设置为一个较小的值，然后循环遍历各个段，删除不需要的对象并随时调用 gc()。