hadoop - 为什么Mapreduce中完成的任务数量会减少？

Question

在运行 hadoop 作业时，我注意到有时已完成的任务数量会减少，而取消的任务数量会增加。

这怎么可能？为什么会这样？

Answer 1

我只在我们的集群处于奇怪状态时遇到过这种情况，所以我不确定这是否是同一个问题。基本上，map 任务会完成，然后 reducers 会启动……然后 mappers 会被重新处理。

我认为问题在于映射器输出在该数据节点上徘徊，等待 reducer 接收它。如果该节点有问题或它死了，JobTracker 决定它需要再次重新运行该任务，即使它已经完成。我们的问题是我们的 NameNode 所在的系统存在一些与 Hadoop 无关的问题，一旦这些问题得到解决，它似乎就消失了。

很抱歉，如果我的经验与您的问题无关。也许，您可以发布更多详细信息吗？您看到任何错误消息了吗？您的 JobTracker 或 NameNode 日志中有什么奇怪的东西吗？