elasticsearch - 使用Logstash将日志发送到 Elasticsearch

Question

我在10.x.x.1中设置了单节点ELK，并在其中安装了logstash，elastic search和kibana。

我的应用程序在另一台服务器10.x.x.2中运行，我希望将日志转发到 flex 搜索。

10.x.x.2中的我的日志文件/var/log/myapp/myapp.log

在10.x.x.1中，我在/etc/logstash/conf.d中提供了此输入

input {
  file {
    path => "/var/log/myapp/myapp.log"
    type => "syslog"
  }
}

output {
   elasticsearch {
       hosts => ["10.252.30.11:9200"]
       index => "versa"
   }
}

我的问题如下

是否需要在10.x.x.2

中安装logstash

我该如何仅对出现“错误”的行进行grep

我的应用每天都会生成10MB的日志。我只想知道，是否可以在 flex 搜索中添加一个以上的节点，以使空间不会填满。

我不想在 flex 搜索中永久保留我的日志。我有什么办法可以设置发送日志的到期时间？
即7天后删除日志。

Answer 1

我可以回答1和2。

您需要在10.x.x.2上至少安装Logstash(不推荐)或Filebeat或Packetbeat中的一种。 Filebeat或Packetbeat都很不错，而且可以从Elastic.co公司免费获得。 Packetbeat用于通过网络而不是日志文件捕获应用程序日志。对于您的情况，使用文件日志，只需使用Filebeat。

您需要编辑Filebeat配置文件(filebeat .yml)才能将其日志记录到10.x.x.1

filebeat:
prospectors:
-
paths:
- /var/log/myapp/myapp.log
和
logstash:
hosts: ["10.x.x.1:5044"]

在10.x.x.1上，您已安装Logstash(以及用于制作ELK的其他文件)，需要为Logstash创建一些配置文件:

将名为02-beats-input.conf的输入文件添加到/etc/logstash/conf.d/

中
input {
beats {
port => 5044
ssl => false
}
}

将名为03-myapp-filter.conf的过滤器文件添加到/etc/logstash/conf.d/中。您应该找到一个匹配您的日志的过滤器模式。