elasticsearch - 使用 Filebeat 和 Logstash 推送日志文件到 Elasticsearch 的区别

Question

我正在尝试使用 ELK 来可视化我的日志文件。我尝试了不同的设置:

Logstash 文件输入插件 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html

Logstash Beats 输入插件 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-beats.html带有 Filebeat Logstash 输出 https://www.elastic.co/guide/en/beats/filebeat/current/logstash-output.html

Filebeat Elasticsearch 输出 https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html

有人可以列出他们的差异以及何时使用哪种设置？如果不是这里，请把我指向正确的地方，比如 super 用户或 DevOp 或服务器故障。

Answer 1

1) 使用logstash file输入你需要一个在你想要收集日志的机器上运行的 logstash 实例，如果日志在你已经运行 logstash 的同一台机器上，这不是问题，但如果日志在远程机器上，logstash instance 并不总是被推荐，因为它比 filebeat 需要更多的资源。

2 和 3)为了在远程机器上收集日志，推荐使用 filebeat，因为它需要的资源比 logstash 实例少，如果您想解析日志、添加或删除字段或对数据进行一些丰富，则可以使用 logstash 输出，如果你不需要做任何类似的事情，你可以使用elasticsearch输出并将数据直接发送到elasticsearch。

这是主要区别，如果您的日志与运行 logstash 的机器在同一台机器上，则可以使用 file input，如果你需要从远程机器收集日志，如果你想对你的数据进行转换，你可以使用filebeat并将其发送到logstash，或者如果你不需要对数据进行转换，则直接发送到elasticsearch。

使用 filebeat 的另一个优点，即使在 logstash 机器上，是如果你的 logstash 实例关闭，你不会丢失任何日志，filebeat 将使用 file 重新发送事件。在某些情况下，您可能会丢失事件。