r - 如何在并行包中跟踪 R 中 mclapply 的进度

Question

我的问题与此有关 question .然而，上面提到的问题使用 multicore被 parallel 替换的包.响应中的大部分功能无法在 parallel 中复制包裹。有没有办法在 mclapply 中跟踪进度.在看mclapply文档中，有一个名为 mc.silent 的参数，我不确定这是否能够跟踪进度，如果可以，我们如何以及在哪里可以看到日志文件？我正在运行 ubuntu linux操作系统。请参阅下面的可重现示例，我想对其进行改进。

require(parallel) 

wait.then.square <- function(xx){
  # Wait for one second
  Sys.sleep(2);
  # Square the argument 
  xx^2 } 

output <- mclapply( 1:10, wait.then.square, mc.cores=4,mc.silent=FALSE)

任何帮助将不胜感激。

Answer 1

感谢包裹 pbmcapply您现在可以轻松跟踪 mclapply 的进度和 mcmapply工作。只需更换 mclapply来自 pbmclapply :

wait.then.square <- function(xx) {
    Sys.sleep(2)
    xx^2 
} 

library(pbmcapply)
output <- pbmclapply(1:10, wait.then.square, mc.cores = 4)

...这将显示一个漂亮的进度条。

作者有一篇关于技术细节和性能基准的不错的博客文章 here .