logging - Logstash 索引器是否可扩展？

Question

我正在使用 Logstash Shipper -> Redis -> Logstash Indexer -> Elasticsearch -> Kibana

据我了解，redis 和 elastricsearch 的设计目的是可扩展的。Logstash 索引器怎么样，我只在logstash 主站点上看到显示仅使用单个logstash 索引器的示例。

这足以处理所有日志吗？您对拥有多个 Logstash 索引器实例有何建议？

Answer 1

如果您的索引器确实是此类设置的瓶颈，您可以轻松地在具有相同配置的第二台计算机上添加第二个 Logstash 索引器，只需更改 redis 源主机和 elasticsearch 目标主机。当它们从同一个 Redis 实例读取数据时，它们使用阻塞读取来确保一个 Redis 条目恰好被一个索引器读取。

与所有组件一样，它们特别擅长水平扩展(更多机器)，但索引器也可以扩展到更大的机器上。

如果单个日志事件的处理时间过长，您可以尝试阻止索引器上的工作。这可以例如通过在托运方进行一些工作(使用 Logstash 过滤器)或让应用程序写入 JSON 日志而不是“普通”日志行来完成。