gpt4 book ai didi

r - 使用降雪进行并行计算时为什么不进行负载平衡?

转载 作者:行者123 更新时间:2023-12-04 20:43:39 27 4
gpt4 key购买 nike

很长一段时间以来,我一直将 sfLapply 用于我的许多并行 r 脚本。但是,最近随着我对并行计算的深入研究,我一直在使用 sfClusterApplyLB,如果单个实例的运行时间不同,它可以节省大量时间。如果 sfLapply 将在加载新批次之前等待批次的每个实例完成(这可能导致空闲实例),完成其任务的 sfClusterApplyLB 实例将立即分配给列表中的剩余元素,因此可能会节省很多实例花费的时间不完全相同。这让我质疑为什么在使用降雪时我们不想负载平衡我们的运行?
到目前为止我发现的唯一一件事是,当并行脚本中出现错误时,sfClusterApplyLB 仍会在给出错误之前循环遍历整个列表,而 sfLapply 将在尝试第一批后停止。
我还缺少什么?负载平衡还有其他成本/缺点吗?
下面是一个示例代码,显示了两者之间的区别

rm(list = ls()) #remove all past worksheet variables
working_dir="D:/temp/"
setwd(working_dir)
n_spp=16
spp_nmS=paste0("sp_",c(1:n_spp))
spp_nm=spp_nmS[1]
sp_parallel_run=function(sp_nm){
sink(file(paste0(working_dir,sp_nm,"_log.txt"), open="wt"))#######NEW
cat('\n', 'Started on ', date(), '\n')
ptm0 <- proc.time()
jnk=round(runif(1)*8000000) #this is just a redundant script that takes an arbitrary amount of time to run
jnk1=runif(jnk)
for (i in 1:length(jnk1)){
jnk1[i]=jnk[i]*runif(1)
}
ptm1=proc.time() - ptm0
jnk=as.numeric(ptm1[3])
cat('\n','It took ', jnk, "seconds to model", sp_nm)

#stop sinks
sink.reset <- function(){
for(i in seq_len(sink.number())){
sink(NULL)
}
}
sink.reset()
}
require(snowfall)
cpucores=as.integer(Sys.getenv('NUMBER_OF_PROCESSORS'))

sfInit( parallel=T, cpus=cpucores) #
sfExportAll()
system.time((sfLapply(spp_nmS,fun=sp_parallel_run)))
sfRemoveAll()
sfStop()

sfInit( parallel=T, cpus=cpucores) #
sfExportAll()
system.time(sfClusterApplyLB(spp_nmS,fun=sp_parallel_run))
sfRemoveAll()
sfStop()

最佳答案

sfLapply函数很有用,因为它将输入值拆分为每个可用 worker 的一组任务,这就是 mclapply函数调用预调度。这可以提供比 sfClusterApplyLB 更好的性能当任务不需要很长时间时。

这是一个极端的例子,展示了预调度的优点:

> system.time(sfLapply(1:100000, sqrt))
user system elapsed
0.148 0.004 0.170
> system.time(sfClusterApplyLB(1:100000, sqrt))
user system elapsed
19.317 1.852 21.222

关于r - 使用降雪进行并行计算时为什么不进行负载平衡?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21534937/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com