java - hadoop reducer是否有输入超时？

Question

我有一个Hadoop工作，我想在8节点Windows HDP群集上运行。该作业有137000多个输入，并且在大约3.5个小时内处理了84％至92％的 map task 。然后，reducer在0％处重新启动，并且映射任务重新运行。这项工作永远不会完成。

我的问题是，reducer是否从dfs读取映射输出或块导致reducer重新启动有超时？或者，如果 reducer 达到某种极限，它将产生一条错误消息，以帮助我确定原因。我的第一个障碍是默认队列仅允许100000个任务，但是该作业出错并显示一条消息，指出了这一点。

我正在使用的hadoop版本是您通过Microsoft HDInsight获得的版本。它似乎是Windows的hadoop 1.1.0快照(适用于Windows的Hortonworks Data Platform 1.0.1 Developer Preview)。我设置属性为客户端任务提供8000mb的内存。由于jobtracker是从Windows服务启动时运行的，因此我无法确定VM实际启动了多少内存。

Answer 1

您是否在 map task 中使用了计数器？您的 map task 需要占用大量CPU吗？如果是，则需要使用计数器来确保Hadoop不会认为您的工作正在挂起，而是正在处理。