curl - 如何在Logstash中将事件标记为 “Looked At”

Question

因此，我正在使用此查询查询Logstash，该查询返回堆栈顶部的所有内容:

{
"query": {
"match_all": { }
},
"size": 7,
"_source": {
"includes": [ "transport", "dest", "packet_source", "id_orig_p", "id_orig_p", "id_orig_h", "conn_state", "id_resp_h", "id_resp_p", "service", "proto" ]
} ,
"sort": [
  {
    "@timestamp": {
    "order": "desc"
  }
}
] 
} 

但是，当我查询数据时，如果没有新数据传入，则会得到重复。是否有一种方法可以用整数字段或其他内容将每个唯一事件ID标记为“LookedAt”？

我需要这样做以减少C#中查询的垃圾收集，但是存储所有ID并进行字符串比较非常繁琐，当我拥有Logstash时似乎不必要。

Answer 1

我建议使用时间戳并将其包含在查询中。例如，从第一个查询的结果中，您可以获取最新事件的时间戳(即结果中的第一个)，然后在进行第二个查询时，您要询问其时间戳高于该时间戳的事件。

因此，您进行第一个查询:

{
  "query": {
    "match_all": {}
  },
  "size": 7,
  "_source": {
    "includes": [
      "transport",
      ...
    ]
  },
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
}

然后说在结果中，最新事件的时间戳是 2017-02-28T10:02:23.000Z。

下一个查询将是:

{
  "query": {
    "range": {
      "timestamp": {
        "gt": "2017-02-28T10:02:23.000Z"
      }
    }
  },
  "size": 7,
  "_source": {
    "includes": [
      "transport",
      ...
    ]
  },
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
}

依此类推，将确保您永远不会有重复的事件。