hadoop - 如何在Hadoop中根据集群大小设置reduce任务

Question

我想将 # of reduce tasks 设置为正好等于一个作业中可用的 reduce slots 的数量。

默认情况下，reduce 任务被计算为可用 reduce 插槽数量的约 1.75 倍(在 Elastic Mapreduce 上)。我注意到我的工作非常均匀地完成 reduce 任务，因此最好在工作中每个 reduce 槽运行 1 个 reducer。

但是如何从我的作业配置中识别集群指标？

Answer 1

你可以使用ClusterMetrics获取 Map-Reduce 集群当前状态信息的类，如集群大小、黑名单和退役跟踪器数量、集群槽容量、当前占用/保留的 map & reduce 槽数等。