r - ffdfdply，R 中的分割和内存限制

Question

我使用 ff/ffdf 和 ffdfdply 函数遇到“错误:无法分配大小为 ...MB 的向量”问题。

我正在尝试使用 ff 和 ffdf 包来处理已键入组的大量数据。数据(以 ffdf 表格式)如下所示:

x = 

id_1    id_2    month    year    Amount    key
   1      13        1    2013     -200      11
   1      13        2    2013      300      54
   2      19        1    2013      300      82
   3      33        2    2013      300      70

.... (10+ Million rows)

唯一键是使用以下内容创建的:

x$key = as.ff(as.integer(ikey(x[c("id_1","id_2","month","year")])))

为了通过使用键变量进行分组进行总结，我有以下命令:

summary = ffdfdply(x=x, split=x$key, FUN=function(df) {
  df = data.table(df)
  df = df[,list(id_1 = id_1[1], withdraw = sum(Amount*(Amount>0),na.rm=T), by = "key"]
  df
},trace=T)

使用 data.table 出色的分组功能(想法取自 this discussion )。在实际代码中，有更多函数可应用于 Amount 变量，但即使如此，我也无法处理完整的 ffdf 表(该表的较小子集工作正常)。

看起来 ffdfdplyis 使用了大量的内存，给出:

Error: cannot allocate vector of size 64MB

BATCHBYTES 似乎也没有帮助。任何有 ffdffply 经验的人都可以推荐任何其他方法来解决这个问题，而无需将 ffdf 表预先分割成 block ？

Answer 1

使用 ff/ffbase 最困难的部分是确保您的数据保留在 ff 中，而不是意外地将其放入 RAM 中。一旦您将数据放入 RAM 中(主要是由于对数据何时放入 RAM 以及何时不放入 RAM 的一些误解)，就很难从 R 中取回 RAM，并且如果您正在处理 RAM 限制，对 RAM 的少量额外请求将导致“错误:无法分配大小的向量”。

现在，我认为您错误地指定了 ikey 的输入。看看 ?ikey，它需要一个 ffdf 作为输入参数，而不是几个 ff 向量。可能这已将您的数据放入 RAM 中，而您想要的可能是使用 ikey(x[c("id_1","id_2","month","year")])

它在我的计算机上模拟了一些数据，如下所示，以获得具有 24Mio 行的 ffdf，并且以下不会给我带来 RAM 问题(它在我的计算机中使用大约 3.5Gb 的 RAM)

require(ffbase)
require(data.table)
x <- expand.ffgrid(id_1 = ffseq(1, 1000), id_2 = ffseq(1, 1000), year = as.ff(c(2012,2013)), month = as.ff(1:12))
x$Amount <- ffrandom(nrow(x), rnorm, mean = 10, sd = 5)
x$key <- ikey(x[c("id_1","id_2","month","year")])
x$key <- as.character(x$key)
summary <- ffdfdply(x, split=x$key, FUN=function(df) {
  df <- data.table(df)
  df <- df[, list(
    id_1 = id_1[1], 
    id_2 = id_2[1],
    month = month[1],
    year = year[1],
    withdraw = sum(Amount*(Amount>0), na.rm=T)
  ), by = key]
  df
}, trace=TRUE)

另一个原因可能是 RAM 中有太多您未提及的其他数据。还要注意，在 ff 中，所有因子级别都在 RAM 中，如果您正在处理大量字符/因子数据，这也可能是一个问题 - 在这种情况下，您需要问自己是否真的需要这些数据分析与否。