elasticsearch - 多个Logstash实例与Filebeats

Question

我正在尝试为我们的 flex 堆栈实现建立最佳的体系结构。

我们在每个网络上都有两个不同的网络(分别称为内部和外部)和几个Web /数据库/应用程序服务器(大约10个)。

我想使用两个网络中机器的IIS日志，我们的RabbitMQ消息以及其他一些信息，然后将它们发送到我的 flex 和kibana安装所在的内部网络中的单个服务器上。

对于内部和外部网络上的服务器，我可以看到两种将日志发送到elastic的主要方法。

在每个服务器上设置logstash，并将输出发送到内部网络上的 flex 服务器。

在每台服务器上设置文件拍子，并将日志发送到运行logstash的单个服务器(这可能是托管 flex 和kibana的同一盒)

我目前不确定这些方法的利弊。我相信正确的方法是使用Filebeats，但我不知道为什么我不只是将logstash放在多个位置，因为我似乎最好分配日志处理。
再说一次，也许有一个带有20至30个输入的logtash不是问题吗？

对这方面的任何想法或指导感兴趣。

Answer 1

从我在文档中阅读的内容来看，Logstash在内存方面比Filebeat要求更高，尤其是如果您对日志进行某种处理(例如grok解析)。 Logstash至少代表一个JVM(使用JRuby)。对于filebeat，我认为它的占用空间要小得多，因为它已针对运输日志进行了优化(我从未使用过，所以我不能说)。

此外，它会使您想要对Logstash实例或其配置进行的任何更新变得复杂。

对于集中式Logstash，优点是可以轻松更改Elasticsearch实例的地址，重定向到redis等缓存或添加其他输出。我还发现Logstash(版本2. +中)需要频繁重启，因此如果您只需要处理一个实例，这会更容易。

我从未将Logstash与多个输入一起使用，所以我不能说。

在我负责日志集中系统的工作中，我们使用了beaver(等效于文件拍)将日志发送到redis服务器，并且让两到三个Logstash服务器将所有内容发送到Elasticsearch。以上所有评论均来自该时期。