Hadoop - 仅用于 Reduce 的故障恢复

Question

我有一个 Hadoop 作业正在运行，它已经完成了 4 天的 map 部分，现在它似乎在 reduce 阶段暂停(reducer 已完成 30%)

我真的希望有一种方法可以只重新处理 reduce 部分，而不必重新处理长期运行的 map 部分，有什么建议吗？如果我只有一个 reducer ，情况可能会变得更糟。

Answer 1

Hadoop 只会在您的情况下重新启动 Reduce 步骤。

但是，如果您的作业失败，您不能跳过 map 步骤。在这种情况下，您应该将这两个阶段分成单独的作业，尤其是当您的映射器是计算密集型的时候。