R optimParallel - 找不到函数

Question

我试图了解 optimParallel 如何处理嵌入式函数:

fn1 <- function(x){x^2-x+1}
fn2 <- function(x){fn1(x)}     # effectively fn1

cl <- parallel::makeCluster(parallel::detectCores()-1)
parallel::setDefaultCluster(cl = cl)

optimParallel::optimParallel(par = 0, fn = fn1)         # Worked
optimParallel::optimParallel(par = 0, fn = fn2)         # Not working

parallel::setDefaultCluster(cl=NULL)
parallel::stopCluster(cl)

为什么第二个不起作用？错误消息是

Error in checkForRemoteErrors(val) : 
  3 nodes produced errors; first error: could not find function "fn1"

如何解决？

Answer 1

此问题特定于所使用的集群类型:

如果FORK集群是在函数定义之后创建的，那么它就可以工作。FORK 集群仅适用于类似 Linux 的系统:

library(optimParallel)
fn1 <- function(x) x^2-x+1 
fn2 <- function(x) fn1(x)
cl <- makeCluster(detectCores()-1, type="FORK")
setDefaultCluster(cl=cl)
optimParallel(par=0, fn=fn2)[[1]]
## [1] 0.5

对于其他集群类型，可以将 fn1 作为参数添加到 fn2 并将其作为 ... 参数添加到 optimParallel ():

fn1 <- function(x) x^2-x+1 
fn2 <- function(x, fn1) fn1(x)
cl <- makeCluster(detectCores()-1)
setDefaultCluster(cl=cl)
optimParallel(par=0, fn=fn2, fn1=fn1)[[1]]
## [1] 0.5

或者，可以将 fn1 导出到集群中的所有 R 进程:

fn1 <- function(x) x^2-x+1 
fn2 <- function(x) fn1(x)
cl <- makeCluster(detectCores()-1)
setDefaultCluster(cl=cl)
clusterExport(cl, "fn1")
optimParallel(par=0, fn=fn2)[[1]]
## [1] 0.5