Hadoop 1.0.3 mapred.map.tasks 属性不工作

Question

我正在使用 hadoop 1.0.3 运行 map reduce 作业。我有一个 3 节点集群设置。问题是我在/conf/mapred-site.xml 中将属性 mapred.map.tasks 设置为 20，但是当我运行该作业并使用以下网页访问集群信息时，hadoop 仅显示 6 个 map task : 50030。我已经在集群中的所有节点上编辑了上述配置文件。请帮忙。

问候，莫辛

Answer 1

正如 miguno 所说，Hadoop 只将 mapred.map.tasks 的值视为提示。

也就是说，当我在使用 MapReduce 时，我能够通过指定最大计数来增加映射计数。这可能不适合您，但您可以试一试。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>60</value>
</property>

注意:此值表示 map 的总数。因此，如果您希望每个 (3) 个节点运行 20 个 map ，您必须指定 mapred.map.tasks，如下所示:

<property>
    <name>mapred.map.tasks</name>
    <value>20</value>
</property>