file - 在同一文件上写入并行模拟

Question

我的目标是在集群上并行运行 10,000 个左右的 Julia 编码模拟(每个模拟独立于所有其他模拟)。每个模拟都有一个要输出的数字(以及关于哪个模拟产生了这个数字的 3 列信息)。因此，强制每个模拟打印在单独的文件上对我来说听起来有点愚蠢。

我可以安全地要求所有这些模拟写入同一个文件，或者如果两个模拟恰好同时写入文件，这可能会导致错误吗？最好的解决方案是什么？

Answer 1

下面是一个简单的例子，其中使用 pmap() 可以设置一组 10000 个独立的模拟在 Julia 中并行运行。 :

@everywhere function simulate(i)
    # we compute the simulation results here. In this case we just return
    # the simulation number and a random value
    x = rand()
    return (i,x)
end

x = pmap(simulate,1:10000)
# x is the array of tuples returned from all the simulations

showall(x)
# ... or we could write x to a file or do something else with it

@everywhere需要确保 simulate()功能可用于所有进程，而不仅仅是一个进程。 pmap()电话 simulate()对于第二个参数中的每个值，并行一次，并返回由 simulate() 产生的所有结果的数组。 .