hadoop - 如何在Hadoop MapReduce中进行日志记录？

Question

我不知道如何在Hadoop MapReduce中执行日志记录。目前，我只是在编写打印语句，并从userlogs目录中读取该语句。这种机制的问题是，有时创建作业目录，有时不创建作业目录。记录消息的最佳方法是什么。

Answer 1

您好Sanjay:合理的结构如下:

a)将一些非常高优先级的仅消息写入System.stderr.println。这些显示在“工作跟踪器” UI的“StdErr”部分下。

b)将一些高优先级(但不是高优先级)消息写入System.stdout.println。这些显示在“Stdout”部分下的Job Tracker UI中。

c)用更审慎的log4j方法编写您的其他(可能是更大量的)输出消息。这些显示在JobTracker gui的“系统日志”部分中。

请注意，以上所有内容也可以在各个TaskTracker计算机的日志目录中找到。