parallel-processing - 如何使用 shell 命令实现 MapReduce？

Question

如何在集群上并行执行 Unix shell 命令(例如 awk one liner)(步骤 1)并将结果收集回中央节点(步骤 2)？

更新:我刚刚找到 http://blog.last.fm/2009/04/06/mapreduce-bash-script
它似乎完全符合我的需要。

Answer 1

如果您要做的只是发出一堆远程命令，则可以使用 perl。您可以“打开”一个 ssh 命令并将结果通过管道返回给 perl。 (您当然需要设置 key 以允许无密码访问)

open (REMOTE, "ssh user@hostB \"myScript\"|");
while (<REMOTE>)
{
  print $_;
}

你想用你的机器名称制作一个循环，并为每个循环启动一个。之后，只需对文件句柄进行非阻塞读取即可在数据可用时取回数据。