java - Hadoop 作业 : Task fail to report status for 601 seconds

Question

在伪节点上运行 hadoop 作业时，任务失败并被杀死。错误:任务尝试_未能报告状态 601 秒

但相同的程序正在通过 Eclipse 运行(本地作业)。

任务:大约有 25K 个关键字，输出将是所有可能的组合(一次两个)，即大约 25K * 25K 个整体

可能是什么问题？

Answer 1

由于某种原因，任务在您的伪节点上执行时没有进行。您可以增加 mapred-site.xml 中的设置“mapred.task.timeout”。mapred-default.xml中相同的默认值为:

 <property>
    <name>mapred.task.timeout</name>
    <value>600000</value>
    <description>The number of milliseconds before a task will be 
                 terminated if it neither reads an input, writes 
                 an output, nor updates its status string.
    </description>
 </property>