mysql - "foreach"循环 : Using all cores in R (especially if we are sending sql queries inside foreach loop)

Question

我打算使用“foreach”来利用我 CPU 中的所有内核。问题是我需要在循环内发送一个 sql 查询。该脚本在正常的“for”循环中运行良好，但当我将其更改为“foreach”时出现以下错误。错误是:

select: Interrupted system call    
select: Interrupted system call    
select: Interrupted system call    
Error in { : task 1 failed - "expired MySQLConnection"

我使用的代码是:

library(foreach)
library(doMC)
library(RMySQL)
library(multicore)
registerDoMC(cores=6)
m <- dbDriver("MySQL", max.con = 100)
con <- dbConnect(m, user="*****", password = "******", host ="**.**.***",dbname="dbname")
list<-dbListTables(con)
foreach(i = 1:(length(list))%dopar%{
  query<-paste("SELECT * FROM ",list[i]," WHERE `CLOSE` BETWEEN 1 AND 100",sep="")
  t<-dbGetQuery(con,query)
}

尽管“foreach”在我的系统中用于所有其他目的工作正常，但它仅在 sql 查询时出错。有没有办法在“foreach”循环内发送 sql 查询？

Answer 1

我的建议是:将数据库查询移到循环之外，并锁定访问，这样您就不会进行并行数据库查询。我认为这也会加快速度，因为您将无法进行并行磁盘访问，但仍然能够进行并行处理。

含义(伪代码)db = 连接到数据库线程锁 = 锁();

parfor{ 线程锁.lock result = db query(将所有数据拉到这里，因为在不锁定数据库的情况下加载时无法处理) 线程解锁 处理结果数据(现在只是数据，而不是 sql 对象)。