gpt4 book ai didi

r - 尝试运行并行操作时,terra 包返回错误

转载 作者:行者123 更新时间:2023-12-04 16:24:43 24 4
gpt4 key购买 nike

我正在与 raster 一起工作包,我尝试切换到 terra但由于一些我不明白的原因,terra无法重现 raster 的相同操作与包并行工作时,例如 snowfallfuture.apply .这是一个可重现的示例。

library(terra)
r <- rast()
r[] <- 1:ncell(r)
m <- rast()
m[] <- c(rep(1,ncell(m)/5),rep(2,ncell(m)/5),rep(3,ncell(m)/5),rep(4,ncell(m)/5),rep(5,ncell(m)/5))
ms <- separate(m,other=NA)
plot(ms)
mymask <- function(ind){
tipo <- tipo_tav[ind]
mask <- ms[[ind]]

masked <-
terra::mask(
r,
mask
)

richard <- function(x){
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
return(y)
}
pred <- richard(masked)
pred <- clamp(pred,lower=0)
return(pred)
}
#the sequential usage works fine, faster than the `raster` counterpart
system.time(x <- mymask(1))#0.03

#when I try to run my function in parallel I receive an error
plan(multisession,workers=5)
system.time(pred_list <- future_lapply(1:5, FUN = mymask))

Error in .External(list(name = "CppMethod__invoke_notvoid", address = <pointer: (nil)>, :NULL value as symbol address.


如果我更改 rast,完全相同的代码运行良好与 rasterterra::maskraster::mask .见下文:
library(raster)
r <- raster(r)
ms <- stack(ms)
mymask <- function(ind){
tipo <- tipo_tav[ind]
mask <- ms[[ind]]

masked <-
raster::mask(
r,
mask
)

richard <- function(x){
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
return(y)
}
pred <- richard(masked)
pred <- clamp(pred,lower=0)
return(pred)
}
#this works fine
system.time(x <- mymask(1))#0.06
#this works too
plan(multisession,workers=5)
system.time(pred_list <- future_lapply(1:5, FUN = mymask))#15.48
如果我使用 snowfall,则行为相同而不是 future
library(snowfall)
sfInit(parallel = TRUE, cpus =5)
sfLibrary(terra)
sfExportAll()
system.time(pred_list <- sfLapply(1:5, fun = mymask))
sfStop()
这将返回与 future_lapply 相同的错误
为什么会这样?我从未见过这样的错误。我希望利用 terra 的更高速度但所以我被卡住了。

最佳答案

A SpatRaster无法序列化,您无法将其发送到并行计算节点。看看 here更多讨论。
相反,您可以 (a) 发送和接收文件名; (b) 并行化您提供给 app 的自定义函数或 lapp ; (c) 使用 cores=n参数(如果可用,例如 apppredict ); (d) 使用类似 wrap 的机制; (e) 发送一个文件名和一个向量,使 SpatExtent 处理并从输出图块创建一个虚拟栅格(参见?vrt)。
例如,您可以使用这样的函数(选项“a”)

prich <- function(filein, fileout) {
r <- rast(filein)
richard <- function(x) {
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
y[y<0] <- 0
return(y)
}
x <- app(masked, richard, filename=fileout, overwrite=TRUE)
return(TRUE)
}
我用 app因为它对于大型栅格更有效——因为它可以避免使用 SpatRaster 为 10 个算术运算中的每一个写入临时文件。鉴于您想并行化这个相对简单的函数,我假设文件非常大。
或选项“c”:
richard <- function(x) {
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
y[y<0] <- 0
return(y)
}
x <- app(masked, richard, cores=12)
在这两种情况下,我都包括了掩蔽。您可以将其包含在选项“a”中,但 mask是磁盘 I/O 密集型,而不是计算密集型,因此一步完成而不是并行执行可能同样有效。
wrap你可以做这样的事情
f <- function(w) {
x <- rast(w)
y <- richard(x)
wrap(y)
}

r <- rast(nrow=10, ncol=10, vals=1:100)
x <- f(wrap(r))
x <- rast(x)
哪里 f将并行运行。这仅适用于小型栅格,但您可以在切片上并行化,我计划为此编写一个包装器以使其易于使用。
还会有更多,但不要屏住呼吸。

关于r - 尝试运行并行操作时,terra 包返回错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67445883/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com