elasticsearch - 发送到ElasticSearch之前，用logstash过滤特定的消息

Question

我想知道是否可以通过logstash仅向elasticsearch发送特定的日志消息？例如，假设我的日志文件中包含以下消息:

2015-08-14 12:21:03 [31946] PASS  10.249.10.70  http://google.com
2015-08-14 12:25:00 [2492]  domainlist \"/etc/ufdbguard/blacklists\
2015-08-14 12:21:03 [31946] PASS 10.249.10.41 http://yahoo.com

当logstash /日志转发器处理此日志时，我想跳过第二行，是否可以指示它跳过任何包含关键字“ domainlist ”的日志消息？还是只允许使用关键字“ PASS ”的日志消息？

Answer 1

是的，您可以使用 drop filter来实现。

根据您如何查看日志行以及拥有的字段名称，如果事件符合某些条件，则可以决定删除该事件。例如，下面您可以在grok过滤器之后看到一个条件，该过滤器检查myfield是否包含与PASS值不同的内容，在这种情况下它将删除事件。

filter {
  grok {
      ...your parsing regexp here...
  }

  if [myfield] != "PASS" {
    drop { }
  }
}