configuration - 我可以强制我的 reducer (复制阶段)仅在所有映射器完成时启动吗

Question

我有一个映射阶段很长的 hadoop 作业，我希望其他较短的作业优先运行。为此，我使用 hadoop job -set-priority job_id LOW 设置了我的长期工作的优先级。

问题是，对于我的长期工作，reducer 的复制阶段开始，即使我的 map 任务只完成了 30%。

然后我的网格有点阻塞，因为所有的 reduce 槽都被低优先级的作业占用了。其他小作业可以完成它们的映射阶段，但在我的长作业完成之前，它们永远不会得到任何 reducer 。

有什么想法吗？谢谢。J.

Answer 1

我找到了自己问题的答案:有一个作业 conf 参数可以完成这项工作:

mapred.reduce.slowstart.completed.maps=0.90

reduce 任务仅在 90% 的 map 完成时才开始。默认值为 0.05。