哈多普。重启 map

Question

Hadoop 1.0.3 工作 36 小时后说:

INFO mapred.JobClient:  map 42% reduce 0%
     mapred.JobClient: Job Failed: # of failed Map Tasks exceeded allowed limit. FailedCount: 1. 
     java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1265)

然后停下来。

是否可以不从一开始就重新启动 Hadoop 作业(map 0% reduce 0%)？

Answer 1

似乎没有重新启动失败作业的好方法。有几点需要牢记:

1. 看起来像您的 mapred 配置 [mapreduce.map.maxattempts=1]，默认通常为 4

   mapred.JobClient: Job Failed: # of failed Map Tasks 
   exceeded allowed limit. FailedCount: 1.
   

2. 您通常想了解失败的原因。 (从你的帖子中不确定你是否发现了问题)

它可能因虚假原因而失败，您可以通过提供 failure traps 将此异常实现到您的 mapreduce 程序中。 .您可以使用 Hadoop API 实现相同的概念。

在这里查看这个答案:https://stackoverflow.com/a/9742235/1515370