java - 如何在eclipse中关闭hadoop源代码中的推测执行

Question

我需要在hadoop源代码中关闭它，而我在eclipse中找不到它的包。 https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapreduce/Job.html#setReduceSpeculativeExecution%28boolean%29

Answer 1

如果您想禁用推测执行，请在 mapred-site.xml 中添加这些属性。

<property>
   <name>mapreduce.map.speculative</name>
   <value>false</value>
</property>
<property>
   <name>mapreduce.reduce.speculative</name>
   <value>false</value>
</property>

或者在 Job 级别，在 Driver 类中设置属性。

Configuration conf = new Configuration();
conf.set(“mapreduce.map.speculative”,false);
conf.set(“mapreduce.reduce.speculative”,false);

有关其源代码，请引用这些:hadoop-mapreduce-project , Job和 JobConf