linux - X-Forwarded-for 上的 Logstash GeoIP

Question

我们正在使用 logstash 和它的 grok 过滤来预处理我们的 Apache 日志文件。我们所有的机器都在负载平衡器后面，因此客户端 IP 被记录到“X-Forwarded-For” header 中。

我们的访问日志是这样的:

"18.32.120.32, 192.168.12.118" [07/Sep/2014:15:53:48 +0200] "GET /login HTTP/1.1" 200 137 "http://www.google.com" "Mozilla/5.0 (Windows NT 5.1; rv:32.0) Gecko/20100101 Firefox/32.0"
 "18.32.120.32, 88.32.240.21, 192.168.12.118" [07/Sep/2014:15:53:48 +0200] "GET /login HTTP/1.1" 200 137 "http://www.google.com" "Mozilla/5.0 (Windows NT 5.1; rv:32.0) Gecko/20100101 Firefox/32.0"

相应的 apache 日志记录指令如下所示:

LogFormat       "\"%{X-Forwarded-For}i\" %t %{Host}i \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"

如您所见，x-forwarded-for header 可以包含 1 到 3 个 IP 地址，具体取决于接收请求的方式。

我们将 x-Forwarded-for header 解释为 logstash/grok 模式中的“QuotedString”:

CUSTOMLOG %{QUOTEDSTRING:xforwardedfor_header} \[%{HTTPDATE:time}\] %{HOSTNAME:host_header} \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QUOTEDSTRING:http_referrer} %{QUOTEDSTRING:http_useragent}

如果我们尝试在 xforwardedfor_header 字段上使用来自 grok 的 GeoIP 模块，地理解析会失败。模块不应该搜索并使用它遇到的第一个 IP 地址吗？

我们是否需要以另一种方式解释 x-forwarded-for 条目？如果是，怎么办？

非常感谢。

Answer 1

查看geoip源代码，它确实处理了一个数组:

     ip = event[@source]
     ip = ip.first if ip.is_a? Array

所以这告诉我你的 xforwardedfor_header 中没有数组——你有一个逗号分隔的字符串...所以你只需要 split

filter {
  split {
    field => xforwardedfor_header
    terminator => ','
  }
}

在您的 geoip 过滤器之前执行此操作应该可以解决您的问题。