hadoop - mapreduce.job.running.reduce.limit和mapred.reduce.tasks有什么区别

Question

我们使用的是Hadoop 2.7.1，我发现以下两个参数均已在某些现有的MapReduce代码中设置，

mapreduce.job.running.reduce.limit=500
mapred.reduce.tasks=50

后者似乎可行，因为最终生成了50个part- *文件。

有谁知道thoes 2参数之间的区别？如果人们同时指定这两个参数，那会发生什么？谢谢。

Answer 1

从官方文档:

mapreduce.job.running.reduce.limit

每个作业的最大同时还原任务数。没有限制
如果此值为0或负数。

what would actually happen if people specify both of them?

在您的示例中将无效。但是，如果您将限制设置为50，将任务设置为500，则即使您的集群容量足够，hadoop也不会一次运行所有500个 reducer 。