r - makeCluster(多核)中的错误 : cannot open the connection

Question

我有以下问题。

为什么在标准节点(最大核心 56)上提交作业时一切运行正常，但是当我将相同的作业/代码提交到 large_memory 节点(最大核心 128)时，我收到错误？

R 中的并行化代码:

> no_cores <- detectCores() - 1

> cl <- makeCluster(no_cores, outfile=paste0('./info_parallel.log'))

错误

Error in socketConnection(master, port = port, blocking = TRUE, open = "a+b",  :
  cannot open the connection

Calls: <Anonymous> ... doTryCatch -> recvData -> makeSOCKmaster -> 
  socketConnection

In addition: Warning message:

In socketConnection(master, port = port, blocking = TRUE, open = "a+b",  :
  localhost:11232 cannot be opened
Execution halted

Error in unserialize(node$con) : error reading from connection
Calls: <Anonymous> ... doTryCatch -> recvData -> recvData.SOCKnode -> unserialize
Execution halted

Error in unserialize(node$con) : error reading from connection
Calls: <Anonymous> ... doTryCatch -> recvData -> recvData.SOCKnode ->  unserialize
Execution halted

<小时/>

正如我所说，R 代码在标准节点上运行良好，因此我认为这是 large_memory 节点的问题。那会是什么？

Answer 1

终于解决了。

该错误是由R中的默认连接数限制引起的。连接数的默认值为128。这里，“连接数”是指代码中使用的每个节点的核心数。

而在代码中，错误发生在 cl <- makeCluster... 这行

no_cores <- detectCores() - 1

cl <- makeCluster(no_cores, outfile=paste0('./info_parallel.log'))

在这里，detectCores()将获得节点上的最大核心数。

在集群的标准节点中，每个节点的核心数小于128，这就是R代码可以在标准节点上良好运行的原因；而在我的例子中，large_memory 分区中每个节点的核心数为 128。默认达到核心数限制。所以错误显示为:

cannot open the connection

我尝试将核心数设置为 120，以便在 large_memory 节点上运行作业(最大核心数 = 128)。没有错误。该代码运行良好。

cl <- makeCluster(120, outfile=paste0('./info_parallel.log'))
#                 ^^^

谢谢!