R data.table 大小和内存限制

Question

我有一个 15.4GB 的 R data.table 对象，其中包含 2900 万条记录和 135 个变量。我的系统和R信息如下:

Windows 7 x64 on a x86_64 machine with 16GB RAM."R version 3.1.1 (2014-07-10)" on "x86_64-w64-mingw32" 

我收到以下内存分配错误(见图)



我将内存限制设置如下:

#memory.limit(size=7000000)
#Change memory.limit to 40GB when using ff library
memory.limit(size=40000)

我的问题如下:

我应该将内存限制更改为 7 TB

将文件分成块并执行该过程？

还有其他建议吗？

Answer 1

尝试分析您的代码以确定哪些语句会导致“浪费 RAM”:

# install.packages("pryr")
library(pryr) # for memory debugging

memory.size(max = TRUE) # print max memory used so far (works only with MS Windows!)
mem_used()
gc(verbose=TRUE) # show internal memory stuff (see help for more)

# start profiling your code
Rprof( pfile <- "rprof.log", memory.profiling=TRUE) # uncomment to profile the memory consumption

# !!! Your code goes here

# Print memory statistics within your code whereever you think it is sensible
memory.size(max = TRUE)
mem_used()
gc(verbose=TRUE)

# stop profiling your code
Rprof(NULL)
summaryRprof(pfile,memory="both") # show the memory consumption profile

然后评估内存消耗配置文件...

由于您的代码因“内存不足”异常而停止，因此您应该将输入数据减少到使您的代码可用的数量，并使用此输入进行内存分析...