r - 如何在R中读取大型数据集

Question

这个问题已经在这里有了答案:




10年前关闭。

Possible Duplicate:
Quickly reading very large tables as dataframes in R

你好，

尝试在 R 中读取大型数据集时，控制台显示以下错误:

data<-read.csv("UserDailyStats.csv", sep=",", header=T, na.strings="-", stringsAsFactors=FALSE)
> data = data[complete.cases(data),]
> dataset<-data.frame(user_id=as.character(data[,1]),event_date= as.character(data[,2]),day_of_week=as.factor(data[,3]),distinct_events_a_count=as.numeric(as.character(data[,4])),total_events_a_count=as.numeric(as.character(data[,5])),events_a_duration=as.numeric(as.character(data[,6])),distinct_events_b_count=as.numeric(as.character(data[,7])),total_events_b=as.numeric(as.character(data[,8])),events_b_duration= as.numeric(as.character(data[,9])))
Error: cannot allocate vector of size 94.3 Mb
In addition: Warning messages:
1: In data.frame(user_msisdn = as.character(data[, 1]), calls_date = as.character(data[,  :
  NAs introduced by coercion
2: In data.frame(user_msisdn = as.character(data[, 1]), calls_date = as.character(data[,  :
  NAs introduced by coercion
3: In class(value) <- "data.frame" :
  Reached total allocation of 3583Mb: see help(memory.size)
4: In class(value) <- "data.frame" :
  Reached total allocation of 3583Mb: see help(memory.size)

有谁知道如何读取大型数据集？ UserDailyStats.csv 的大小约为 2GB。

Answer 1

当然:

获得更大的计算机，尤其是更多的内存

运行 64 位操作系统，请参阅 1) 了解更多内存，现在您可以使用它了

只读您需要的列

读取较少的行

以二进制读取数据，而不是重新解析 2gb(效率极低)。

manual for this 站点上还有一个 R。