elasticsearch - 每天在 Elasticsearch 中搜索第一次发生的事件

Question

我们使用 Logstash 接收日志，传递给 Elasticsearch，并使用 Kibana 进行浏览。一个非常常见的设置。

每个条目中的一个字段是@timestamp，示例内容为03/18/2015 18:02:52。我应该使用什么过滤器来仅显示每天的第一个条目？

Answer 1

我不相信您可以使用过滤器来做到这一点 - 一天中的第一个不是您可以通过查看单个文档来确定的属性。但是，您应该能够通过聚合来做到这一点:首先使用 date_histogram 进行聚合间隔天，按天对事件进行分组。然后使用 top_hits聚合以每天提取一个结果(需要 elasticsearch 1.3 或更高版本)。您的查询应如下所示

{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "by-day": {
      "date_histogram": {
        "field": "timestamp",
        "interval": "day"
      },
      "aggs": {
        "top_for_day": {
          "top_hits": {
            "size": 1,
            "sort": [
              {
                "timestamp": {
                  "order": "asc"
                }
              }
            ]
          }
        }
      }
    }
  }
}

应该产生如下结果(为简洁起见略微修剪)

{
  "aggregations": {
    "by-day": {
      "buckets": [
        {
          "key_as_string": "2015-02-01T00:00:00.000Z",
          "key": 1422748800000,
          "doc_count": 7635,
          "top_for_day": {
            "hits": {
              "total": 7635,
              "max_score": null,
              "hits": [
                {
                  "_index": "events-2015-02",
                  "_type": "event",
                  "_id": "c64f85ac-a870-441f-bedb-e24db47fd02a",
                  "_score": null,
                  "_source": {
                    "eventTime": "2015-02-01T00:00:26Z"
                  },
                  "sort": [
                    1422748826000
                  ]
                }
              ]
            }
          }
        },
        {
          "key_as_string": "2015-02-02T00:00:00.000Z",
          "key": 1422835200000,
          "doc_count": 8182,
          "top_for_day": {
            "hits": {
              "total": 8182,
              "max_score": null,
              "hits": [
                {
                  "_index": "events-2015-02",
                  "_type": "event",
                  "_id": "c544278d-9f51-41a8-827b-9c70c0a057ca",
                  "_score": null,
                  "_source": {
                    "timestamp": "2015-02-02T00:00:19Z"
                  },
                  "sort": [
                    1422835219000
                  ]
                }
              ]
            }
          }
        }
      ]
    }
  }
}