multithreading - 在Julia中为循环返回数组优化并行处理

Question

我必须多次计算随机算法的结果。最后，我想将所有结果都放在一个数组中。算法的执行彼此独立。在Julia中，可以使用并行的for循环轻松地将其并行化，如下所示:

@parallel (vcat) for i=1:10
    rand() # or any other algorithm yielding a number
end

但是，如果一个线程获取另一个线程的结果，并且在for循环的每次迭代之后将两个结果合并，这似乎有点低效。
这样对吗？在这种情况下，可能是一个线程产生了100个元素的数组，而另一个线程产生了200个元素的数组，并且这些数组合并为300个元素的数组？
我能以某种方式防止这种情况并重写上面的代码以防止多个数组分配，并且可能将在for循环内计算的结果放入预先分配的数组中吗？
还是可以以某种方式使归约运算符更智能？

Answer 1

您可以为此使用pmap。它可以将工作并行分配给您的工作人员，然后将每个工作的结果存储为数组中的单独元素。然后，您可以在最后合并此数组。

考虑以下示例，其中每个工作都是创建一个长度不同的随机向量，所有向量都在最后合并:

addprocs(3)

Results = pmap(rand, 1:10)

Result = vcat(Results...)  ## array of length 55.

pmap将在完成每个工作时为每个工作人员分配一个工作。因此，如果您的作业长度可变，它可能比 @parallel更有效。 (有关详细信息，请参见 here)。
...语法将 Results的元素(即长度不同的10个向量)分解为单独的参数，以馈送到 vcat函数。