r - 在雪集群上分发列表

Question

当数据仅包含在一个列表或矩阵中时，snow 包 parXapply() 函数分布工作得很好，但在这种情况下，我需要在四种不同类型的矩阵上运行一个函数。

例如，这是我现在拥有的:

res.list = parLapply(cl, mynames, myfun, listA, listB, listC, listD)

myfun = function(name, listA, listB, listC, listD) {
  matrixA = listA[[name]]
  matrixB = listB[[name]]
  matrixC = listC[[name]]
  matrixD = listD[[name]]
}

我遇到的问题是矩阵非常大，我怀疑在完整列表上调用 parLapply() 涉及将所有数据传输到每个集群节点。这可能非常耗时，并且会降低集群性能。

如何在调用 myfun() 之前拆分列表，只将相关矩阵发送到每个节点进行处理？

Answer 1

clusterMap() 完成工作:

res.list = clusterMap(cl, myfun, mynames, listA, listB, listC, listD)

parMapply() 包装器以某种方式被排除在包之外。