hadoop - 强制 Hadoop 运行具有多个 reducer 的应用程序

Question

我有一个 Hadoop Map-reduce 应用程序，其代码中包含以下行(将 reducer 的数量设置为 1)。

job.setNumReduceTasks(1)

我想用多个 reducer 运行这个应用程序，所以我尝试将以下 XML 代码添加到 $HADOOP_CONF_DIR/mapred-site.xml

 <property>
  <name>mapreduce.job.reduces</name>
  <value>2</value>
 </property>

但是，代码仍然使用 1 个 reducer 运行。有没有办法强制 hadoop 应用程序与 2 个 reducer 一起运行，或者应用程序代码的优先级是否总是更高？

Answer 1

在这种情况下，您需要修改代码，因为对 job.setNumReduceTasks(1) 的调用优先于任何配置或命令行传递的属性