elasticsearch - 如何从Elasticsearch崩溃中恢复logstash

Question

我有多个logstash实例将日志直接传送到中央Elasticsearch服务器(使用output-> elasticsearch)。

到目前为止，这仍然可以正常工作，但是当elasticsearch出现故障(例如重新启动整个服务器)时，一旦Elasticsearch再次启动，logstash不会重新开始发送日志。

我必须手动重新启动logstash。此外，所有来自elasticsearch的日志都会丢失，直到logstash重新启动为止。

如何更改设置以使其更具容错性？

Answer 1

您应该考虑使用代理，并将所有日志发送到消息队列(例如，rabbitMQ)，Logstash将从那里开始提取消息并将数据发送到Elasticsearch。万一Elasticsearch将关闭，Logstash将停止拉出消息，并且它们将在代理中累积。重新建立连接后，您的消息将被写入。