logging - Hadoop中日志文件的含义

Question

我尝试分析具有不同应用程序(例如MapReduce，Hbase等)的Hadoop系统的工作特征。
有一些日志文件可用于不同目的，例如namenode，datanode和jobtrack。日志文件采用某种格式。
是否有人知道日志文件中每个项目的确切含义？或者在哪里可以找到相关文档？

谢谢!

Answer 1

Hadoop使用log4j处理日志。看起来您尚未修改配置。我不知道您使用的是哪个版本。因此，假设您在此处使用配置:https://github.com/apache/hadoop-common/blob/ade66f948e2cf0d5bd46a212b58c8ca3c85aba39/hadoop-common-project/hadoop-common/src/main/conf/log4j.properties

输出到控制台的日志格式定义为

log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

％d {yy / MM / dd HH:mm:ss}:日期及其格式。

％p:记录事件的优先级。例如INFO，DEBUG，ERROR。

％c:记录事件的类别。在Hadoop中，通常是类名。

％m:日志消息。

％n:平台相关的行分隔符或多个字符。

可以在这里找到更多信息: http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/PatternLayout.html

输出示例是

14/05/19 06:50:42 INFO http.HttpServer: Jetty bound to port 42253