elasticsearch - 在Kibana中按时间戳排序日志

Question

Timestamps don`t match
我有一个ELK(Elasticsearch，Logstash和Kibana)实例正在运行，并且Filebeat从其他计算机发送日志，我注意到Kibana中显示的日志以到达服务器的顺序不同(如您在附图中所示)，例如，这是在Kibana中显示的内容，第二列是kibana时间戳，第三列是服务器时间戳:

February 9th 2017, 11:53:11.714 11:53:04,904
February 9th 2017, 11:53:11.714 11:53:05,579
February 9th 2017, 11:53:11.714 11:53:05,581
February 9th 2017, 11:53:11.714 11:53:05,591
February 9th 2017, 11:53:11.714 11:53:04,441
February 9th 2017, 11:53:11.714 11:53:05,589

我在日志文件中看到的是:

11:53:04,441
11:53:04,904
11:53:05,579
11:53:05,581
11:53:05,589
11:53:05,591

是否有任何选项可以按照在服务器中显示的顺序查看Kibana中的日志？
我一直在寻找它，但是没有看到任何处理该主题的问题，但是我看到它可能正在更改Logstash配置文件10-syslog-filter.conf，这是我的:

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

提前致谢。

Answer 1

我认为这是因为在Kibana中创建索引时，您尚未指定应在timestamp中显示事件的Kibana。您可以执行以下操作:

mutate {
    add_field => { "received_time" => "%{syslog_timestamp}" }
    remove_field => ["syslog_timestamp"] <-- since you'll be using the recieved_time field here after
}
date {
    match => [ "received_time", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss"]
    target => "received_time"
    locale => "en"
    timezone => "UTC"
}

上面只是一个示例，因此您可以复制。 注意，我假设 syslog_timestamp作为您在Q中提到的服务器时间。

因此，当您在 Kibana中创建新索引时，系统会要求您选择 时间字段名称以过滤事件。 Kibana的作用是，它将根据浏览器的时间显示事件，除非您从下拉菜单中选择它。

因此，一旦您处理了logstash conf，您就应该能够在下拉列表中看到我们在conf中创建的字段 Received_time 。因此，您只需从 drop down中选择它，以便 Kibana将根据您选择的 timestamp显示事件。另外 请确保也没有任何时区问题。如果您使用的是 UTC，请同时从 Kibana中的 高级设置> dateFormat:tz 更改浏览器时区。希望能帮助到你!