hadoop -/etc/bin/hadoop 是同步调用吗？

Question

当你调用/etc/bin/hadoop jar myjar.jar myclass args 时

map reduce 作业是否同步运行？换句话说，调用是否仅在所有节点上的所有 map reduce 作业完成后才返回？

这在分派(dispatch)了一个 nutch 作业的情况下尤其重要。我想知道在命令返回时站点抓取是否已经完成。

Answer 1

是的，这是一个同步调用，因为对于最终结果，您必须等到所有节点的作业完成。事实上，我想说这也取决于你是如何编写作业的，即你可以添加一些代码行来在终端上打印你当前的抓取状态，通过它你将获得抓取的实时状态更新。但是要查看抓取的最终输出，您必须等到作业完成。