elasticsearch - Logstash GROK解析键/值对的可变长度集

Question

我有一个日志文件，其中包含可变数量的k / v对，例如:

2017/01/01 11:11:111,ABC=2,DEF=1
2017/01/01 11:11:112,ABC=4,DEF=1,GHI=7
2017/01/01 11:11:113,ABC=1
2017/01/01 11:11:114,DEF=3,GHI=1...etc

我想知道如何处理该信息，以便Elasticsearch可以使用此信息。每个键代表一个连接池名称，它的值定义自上次发出查看此信息的请求以来，启动池重新启动的频率。

我想报告一个折线图，该折线图将随着时间的流逝确定ABC池与DEF和GHI的比较情况，以及JKL和MNO的无限广告效果。

我正在努力在文档中找到有关此内容的信息。

Answer 1

这样的事情可以为您工作:

filter {
 # filter for pool info
 grok { match => { "message" => "^%{YEAR}\/%{MONTHNUM}\/%{DAY}\s%{HOUR}\:%{MINUTE}\:%{SECOND},%{DATA:poolinfo}"  }
}    
 # parse kv pairs
 ruby { code => '
   fieldArray = event.get( "poolinfo" ).split(",")
   for field in fieldArray
    key = field.split("=")[0]
    value = field.split("=")[1]
    event.set(key, value.to_i)
   end
  '
 }
}