log4j - 将 Log4J 与 LogStash 结合使用

Question

我是 LogStash 的新手。我有一些从 Log4J 中的 Java 应用程序编写的日志。我正在尝试将这些日志放入 ElasticSearch。对于我的生活，我似乎无法让它始终如一地工作。目前，我正在使用以下 logstash 配置:

input {
  file {
    type => "log4j"
    path => "/home/ubuntu/logs/application.log"
  }
}
filter {
  grok {
    type => "log4j"
    add_tag => [ "ApplicationName" ]
    match => [ "message", "%{TIMESTAMP_ISO8601:timestamp}  %{LOGLEVEL:level}" ]
  }
}
output {
  elasticsearch {
    protocol => "http"
    codec => "plain"
    host => "[myIpAddress]"
    port => "[myPort]"
  }
}

这种配置似乎很受欢迎。我不知道为什么。例如，我有两条消息。一个有效，另一个引发解析失败。然而，我不确定为什么。以下是消息及其各自的结果:

Tags                   Message
------                 -------
["_grokparsefailure"]  2014-04-04 20:14:11,613 TRACE c.g.w.MyJavaClass [pool-2- 
                       thread-6] message was null from https://domain.com/id-1/env-
                       MethodName

["ApplicationName"]    2014-04-04 20:14:11,960 TRACE c.g.w.MyJavaClass [pool-2-
                       thread-4] message was null from https://domain.com/id-1/stable-
                       MethodName

带有 ["ApplicationName"] 的那个有我的自定义字段 timestamp和 level .但是，带有 ["_grokparsefailure"] 的条目没有我的自定义字段。奇怪的是，日志几乎相同，如上面的消息列所示。这真的让我感到困惑，但是，我不知道如何找出问题所在或如何解决问题。有谁知道我如何使用 import log4j 日志到 logstash 并一致地获取以下字段:

日志级别

时间戳

日志消息

机器名称

主题

感谢您提供任何帮助。即使我只能知道日志级别、时间戳和日志消息，这也将是一个巨大的帮助。我由衷地感谢它!

Answer 1

我建议将 log4j 套接字监听器用于 logstash 和 log4j 套接字附加程序。

Logstash 配置:

input {
  log4j {
    mode => server
    host => "0.0.0.0"
    port => [logstash_port]
    type => "log4j"
  }
}
output {
  elasticsearch {
    protocol => "http"
    host => "[myIpAddress]"
    port => "[myPort]"
  }
}

log4j.properties:

log4j.rootLogger=[myAppender]
log4j.appender.[myAppender]=org.apache.log4j.net.SocketAppender
log4j.appender.[myAppender].port=[log4j_port]
log4j.appender.[myAppender].remoteHost=[logstash_host]

logstash 文档中有更多关于 log4j 输入的信息: http://logstash.net/docs/1.4.2/inputs/log4j