optimization - 将巨大的矢量发送到 R 中的数据库

Question

下午好

在计算出一个相当大的向量(比 2^20 个元素短一点)后，我必须将结果存储在数据库中。

脚本执行大约需要 4 个小时，使用简单的代码，例如:

#Do the processing
myVector<-processData(myData)
#Sends every thing to the database
lapply(myVector,sendToDB)

您认为最有效的方法是什么？

我考虑过使用相同的查询来插入多条记录(多次插入)，但它只是返回到“夹持”数据。

是否有任何矢量化函数可以将其发送到数据库中？

有趣的是，代码在开始处理向量的第一个元素之前花费了大量时间。也就是说，如果我在 sendToDB 中放置一个 browser() 调用，它需要 20 分钟才能第一次到达(我的意思是 20 分钟而不考虑前一行处理数据)。所以我想知道这段时间 R 在做什么？

是否有另一种方法可以在 R 中执行我可能错过的此类操作(可能是并行处理？)

谢谢!

PS:这里是 sendToDB 函数的骨架:

sendToDB<-function(id,data) {
  channel<-odbcChannel(...)
  query<-paste("INSERT INTO history VALUE(",id,",\"",data,"\")",sep="")
  sqlQuery(channel,query)
  odbcClose(channel)
}

就是这个想法。

更新

我现在正在尝试 LOAD DATA INFILE 命令。

我仍然不知道为什么第一次到达lapply的内部函数需要这么长时间。

解决方案

LOAD DATA INFILE 确实要快得多。使用 write 逐行写入文件是经济实惠的，而 write.table 甚至更快。

我在 lapply 中遇到的开销是因为我在遍历 POSIXct 对象。使用 seq(along.with=myVector) 然后在循环内处理数据要快得多。

Answer 1

将它写入某个文件并调用 LOAD DATA INFILE 怎么样？这至少应该给出一个基准。顺便说一句:您使用哪种 DBMS？