hadoop - hadoop 配置中 mapred.tasktracker.tasks.maximum 的默认值是多少

Question

我在链接中找到了这个配置名称 http://wiki.apache.org/hadoop/HowManyMapsAndReduces

然而，当我尝试搜索 hadoop 文档时，我发现配置名称为

 mapred.tasktracker.reduce.tasks.maximum   default value 2
 mapred.tasktracker.map.tasks.maximum      default value 2

http://hadoop.apache.org/docs/r1.1.1/mapred-default.html但是我找不到 mapred.tasktracker.tasks.maximum ？如果缺少一些明显的理解，请提出建议？

Answer 1

第一个link解释了您应该为 MapReduce 作业设置多少映射器(只是一个指示)和缩减器，以便您可以实现更好的负载平衡。

你提到的第二件事是每个节点可以同时运行多少个map任务和reduce任务。在 http://hadoop.apache.org/docs/r1.1.1/mapred-default.html这些配置显示为:

mapred.tasktracker.map.tasks.maximum         2  
mapred.tasktracker.reduce.tasks.maximum      2

如果你想改变它们，那么你应该改变文件{$HADOOP_HOME}/conf/mapred-site.xml，其中${HADOOP_HOME}是hadoop路径。

例如，如果您确定需要 8 个 reducer(这可以通过在代码中设置 conf.setNumReduceTasks(8); 来完成)并且您保留这些默认值，假设您有集群中有 2 个节点，每个节点一开始会运行 2 个 map 任务，因此，总体而言，2x2 = 4 个 map 任务将在您的集群中运行。当这些映射任务中的任何一个完成时，节点将运行队列中的下一个映射任务。在任何时候，4 个映射任务(最多)将在您的集群中运行。

编辑:我发现了错误。在第一个链接中它说:

reduce 的正确数量似乎是 0.95 或 1.75 * (nodes * mapred.tasktracker.tasks.maximum)。

应该是:

reduce 的正确数量似乎是 0.95 或 1.75 * (nodes * mapred.tasktracker.reduce.tasks.maximum)。