elasticsearch - 是否可以为文件拍配置多个输出？

Question

在我们的一个应用程序中，我们使用logstash解析应用程序日志并将其索引到elasticsearch中。我们的简单架构是日志文件---> filebeat ---> logstash -----> elasticsearch。

由于我们启用了多个日志文件示例(apachelogs，passengerlogs，应用程序日志等)，logstash无法解析数据量，因此Elasticsearch缺少日志。有什么方法可以处理logstash上的大量数据，还是我们可以有多个logstash服务器根据日志类型从filebeat接收日志？例如:应用程序日志将输出logstash-1和apachelogs发送到logstash-2。

提前致谢。

Answer 1

当前无法在Filebeat中多次定义相同的输出类型。

但是有一些选择可以实现您想要的:

您可以在filebeat中使用 loadbalance 选项将事件分发到多个Logstash。 https://www.elastic.co/guide/en/beats/filebeat/current/logstash-output.html#loadbalance，默认情况下，beats会随机选择一个主机并坚持下去。

使用一个队列(例如kafka)，并使logstash使用kafka输入，这将允许您根据需要添加更多的LS。