logging - cdh4 hadoop 中作业的详细日志在哪里？

Question

我只是在hdfs中找到jobhistory

/home/mps/cdh/users/history/done_intermediate/mps/job_1405497023620_0009-1405505656182-mps-simjoin%2D1.0.jar-1405505683781-0-0-FAILED-default.jhist

但是这个工作历史信息远非像这样的详细信息:

{"type":"TASK_FAILED","event":{"org.apache.hadoop.mapreduce.jobhistory.TaskFailed":{"taskid":"task_1405497023620_0008_m_000002","taskType":"MAP","finishTime":1405505044309,"error":", \n","failedDueToAttempt":{"string":"attempt_1405497023620_0008_m_000002_3"},"status":"FAILED"}}}

我在哪里可以找到更多详细信息，例如 Mapper 和 Reducer 中作业记录器的异常抛出或日志信息记录器？

Answer 1

检查此目录:(根据您的设置)

/var/log/hadoop-0.20-mapreduce/userlogs/job_201407151208_0031/attempt_201407151208_0031_m_000000_0

你会发现

• 标准输出
• 标准错误
• 系统日志

在这些文件中，您将详细了解作业的执行情况。