r - 在 R doParallel 'foreach' 中找不到函数 - { : task 1 failed - "could not find function "raster""中出现错误

Question

我第一次尝试在我的机构使用高性能集群，但遇到了无法解决的问题。

以下代码返回错误:

ptime<-system.time({
  r <- foreach(z = 1:length(files),.combine=cbind) %dopar% {
    raster <- raster(paste(folder,files[1],sep=""))
    data<-getValues(raster)
    clp <- na.omit(data)
    for(i in 1:length(classes)){
      results[i,z]<-length(clp[clp==classes[i]])/length(clp)
      print(z)
    }
  }
})

Error in { : task 1 failed - "could not find function "raster""

A 还为我的另一个任务尝试了不同的 foreach 代码:

r <- foreach (i=1:length(poly)) %dopar% {
  clip<-gIntersection(paths,poly[i,])
  lgth<-gLength(clip)
  vid<-poly@data[i,3]
  path.lgth[i,] <- c(vid,lgth)
  print(i)
}

这次没有找到 gIntersection 函数。显然这些包都已安装并加载。阅读了一些论坛帖子后，似乎这与函数执行/操作的环境有关。

有人可以帮忙吗？我不是程序员!

谢谢!

更新:

我已经针对提供的解决方案调整了我的代码:

results<-matrix(nrow=length(classes),ncol=length(files))
dimnames(results)[[1]]<-classes
dimnames(results)[[2]]<-files

ptime<-system.time({
    foreach(z = 1:length(files),.packages="raster") %dopar% {
    raster <- raster(paste(folder,files[z],sep=""))
    data<-getValues(raster)
    clp <- na.omit(data)
    for(i in 1:length(classes)){
      results[i,z]<-length(clp[clp==classes[i]])/length(clp)
      print(z)
    }
  }
})

但是我得到的是一个充满 na 的输出(我的结果矩阵)。正如您所看到的，我创建了一个名为 results 的矩阵对象来填充结果(它与 for 循环一起使用)，但是在阅读 foreach 的文档后，您似乎使用此函数以不同的方式保存结果。

关于我应该为 .combine 参数选择什么的建议？

Answer 1

在 vignette of foreach在 foreach 的帮助页面中，指出了在使用默认情况下不加载的函数进行并行计算时需要提供的参数 .packages 。所以第一个示例中的代码应该是:

ptime<-system.time({
  r <- foreach(z = 1:length(files),
               .combine=cbind, 
               .packages='raster') %dopar% {
      # some code
      # and more code
  }
})

<小时/>

更多解释

foreach 包在幕后进行了大量设置。发生的情况如下(原则上，技术细节有点复杂):

• foreach 设置了一个“workers”系统，您可以将其视为单独的 R session ，每个 session 都提交给集群中的不同核心。

• 需要执行的功能以及执行该功能所需的对象一起加载到每个“worker” session 中

• 每个工作器计算数据子集的结果

• 不同工作人员的计算结果汇总并在“主”R session 中报告。

由于工作进程可以被视为单独的 R session ，因此不会自动加载“主” session 中的包。您必须指定应在这些工作 session 中加载哪些包，这就是 foreach 的 .package 参数的用途。

<小时/>

请注意，当您使用其他包(例如 parallel 或 snowfall)时，您必须显式设置这些工作人员，并负责传递对象和在工作 session 上加载包。