Hadoop 慢启动配置

Question

Hadoop 作业的“mapred.reduce.slowstart.completed.maps”的理想值是多少？适当设置它应遵循哪些规则？

谢谢!

Answer 1

这取决于您的作业、集群和利用率的许多特征:

1. 您的工作需要多少个 map 槽与最大 map 容量:如果您的工作产生 1000 个 map task ，但总共只有 10 个 map 槽(证明观点的极端情况)，那么尽早启动你的 reducer 可能会剥夺 reduce 任务的执行。在这种情况下，我会将您的 slowstart 设置为一个较大的值(0.999 或 1.0)。如果您的映射器需要一段时间才能完成，这也是正确的 - 让其他人使用缩减器

2. 如果您的集群负载相对较轻(不存在对 reducer 插槽的争用)并且您的映射器输出大量数据，那么低的慢启动值将有助于让您的工作更早完成(在执行其他 map 任务时，将 map 输出数据移动到 reducers)。

可能还有更多