elasticsearch - 如何收集日志到Elasticsearch

Question

我在不同的服务器(许多机器)上有Web应用程序的日志。如何在安装了Elastic search和Kibana的系统中收集这些日志。当我搜索时，我仅发现显示设置的教程，其中logs，logstash，beats，elasticsearch和kibana都在一起。

Answer 1

由于有许多生成日志的机器，因此需要使用Filebeat，Logstash，Elasticsearch和Kibana设置ELK堆栈。

您需要在每台计算机上设置 filebeat 实例。

它将在每台计算机上侦听您的日志文件，并将它们转发到您在 filebeat.yml配置文件中提到的logstash实例，如下所示:

#=========================== Filebeat inputs =============================

filebeat.inputs:

- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /path_to_your_log_1/ELK/your_log1.log
    - /path_to_your_log_2/ELK/your_log2.log

#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["private_ip_of_logstash_server:5044"]

Logstash服务器侦听端口5044并通过logstash配置文件流式传输所有日志:

input {
      beats { port => 5044 }      
}
filter {
    # your log filtering logic is here
}
output {
        elasticsearch {
            hosts => [ "elasticcsearch_server_private_ip:9200" ]
            index => "your_idex_name"
        }
}

在logstash中，您可以过滤日志并将其拆分为字段，然后将其发送到elasticsearch。

Elasticsearch将我们通过logstash发送的所有数据保存在索引中。

elasticsearch数据库中的所有数据都可以通过Kibana读取。我们可以使用kibana根据我们的数据创建具有多种图表类型的仪表板。

以下是带有文件信号的ELK的基本体系结构: