RPostgreSQL 连接在使用 doParallel clusterEvalQ 启动后立即过期

Question

我正在尝试设置一个并行任务，其中每个工作人员都需要进行数据库查询。我正在尝试为每个工作人员设置一个连接，如 this question 中所示但每次我尝试它都会返回 <Expired PostgreSQLConnection:(2781,0)>无论我注册了多少 worker 。

这是我的代码:

cl <- makeCluster(detectCores())
registerDoParallel(cl)

clusterEvalQ(cl, {
  library(RPostgreSQL)
  drv<-dbDriver("PostgreSQL")
  con<-dbConnect(drv, user="user", password="password", dbname="ISO",host="localhost")

})

如果我尝试运行我的 foreach尽管有错误，它还是失败了 task 1 failed - "expired PostgreSQLConnection"
当我进入 postgres 服务器状态时，它会显示所有创建的事件 session 。

我在主 R 实例中与 postgres 交互没有任何问题。

如果我跑

clusterEvalQ(cl, {
  library(RPostgreSQL)
  drv<-dbDriver("PostgreSQL")
  con<-dbConnect(drv, user="user", password="password", dbname="ISO",host="localhost")
  dbGetQuery(con, "select inet_client_port()")

})

然后它将返回所有客户端端口。它不会给我过期通知，但如果我尝试运行我的 foreach 命令，它将失败并出现相同的错误。

编辑:

我已经在 Ubuntu 和 2 台 Windows 计算机上尝试过这个，它们都给出了同样的错误。

另一个编辑:

现在 3 台 Windows 计算机

Answer 1

我能够在本地重现您的问题。我不完全确定，但我认为问题与方式有关 clusterEvalQ在内部工作。例如，您说 dbGetQuery(con, "select inet_client_port())给了你客户端端口输出。如果查询实际上是在集群节点上评估/执行的，那么您将无法看到此输出(与您无法直接读取在外部集群节点上执行的任何其他输出或打印语句的方式相同)。

因此，据我所知，评估首先以某种方式在本地环境上执行，然后相关的函数和变量被复制/导出到各个集群节点。这适用于任何其他类型的函数/变量，但显然不适用于数据库连接。如果连接/端口映射链接到主 R 实例，则连接将无法从从属实例工作。如果您尝试使用 clusterExport，您也会得到完全相同的错误。函数以导出在主实例上创建的连接。

作为替代方案，您可以做的是在个人内部创建单独的连接 foreach任务。我已经用本地数据库验证了以下工作:

library(doParallel)
nrCores = detectCores()
cl <- makeCluster(nrCores)
registerDoParallel(cl)
clusterEvalQ(cl,library(RPostgreSQL))
clusterEvalQ(cl,library(DBI))

result <- foreach(i=1:nrCores) %dopar%
{
  drv <- dbDriver("PostgreSQL")
  con <- dbConnect(drv, user="user", password="password", dbname="ISO",host="localhost")
  queryResult <- dbGetQuery(con, "fetch something...")
  dbDisconnect(con)
  return(queryResult)
}
stopCluster(cl)

但是，现在您必须考虑到您将每隔 foreach 创建并断开一个新连接。迭代。因此，您可能会产生一些性能开销。您显然可以通过智能地拆分查询/数据来规避这一点，以便在同一次迭代中完成大量工作。理想情况下，您应该将工作拆分为与您可用的内核数量相同的数量。