hadoop - log.index(没有此类文件或目录)和任务进程退出，并且非零状态为126

Question

我陷入了这个问题。我正在使用Hadoop(CDHu3)。我通过Google搜索发现了所有可能的解决方案。
这是问题:
当我运行Hadoop示例“wordcount”时，任务跟踪器在一个从属节点中的登录出现以下错误:

1.WARN org.apache.hadoop.mapred.DefaultTaskController: Task wrapper stderr: bash:/var/tmp/mapred/local/ttprivate/taskTracker/hdfs/jobcache/job_201203131751_0003/attempt_201203131751_0003_m_000006_0/taskjvm.sh:Permission denied

2.WARN org.apache.hadoop.mapred.TaskRunner: attempt_201203131751_0003_m_000006_0 : Child Errorjava.io.IOException: Task process exit with nonzero status of 126.

3.WARN org.apache.hadoop.mapred.TaskLog: Failed to retrieve stdout log for task: attempt_201203131751_0003_m_000003_0java.io.FileNotFoundException:/usr/lib/hadoop-0.20/logs/userlogs/job_201203131751_0003/attempt_201203131751_0003_m_000003_0/log.index(No such file or directory)

我在Google中找不到类似的问题。我收到了一些相关的帖子，这些帖子建议:

Hadoop用户的ulimit:对于此 bundle 示例

，我的 ulimit设置得足够大。

JVM使用的内存:我的JVM仅使用Xmx200m，太小而无法超过我的机器的限制

mapred.local.dir和日志dir的特权:我通过“chmod 777”设置它们

磁盘空间已满:我的日志目录和mapred.local.dir中有足够的空间用于Hadoop。

我怎么解决这个问题？

Answer 1

对我而言，这是因为hadoop无法在hadoop / logs / userlogs / JobID / attemptID上创建MapReduce作业日志

ulimit当然是最高可能性之一。

但是对我来说，这是因为我们正在使用的磁盘已满，并且创建日志文件失败