elasticsearch - 对多个Logstash实例的协调操作

Question

我最近一直在研究建立Elasticsearch集群，并且很好奇如何在多个logstash实例之间协调 Action 。我需要定期索引数据库中的数据，这可以使用jdbc输入插件来完成。我的问题是我不确定如何在多个logstash实例之间协调此操作。例如，如果我仅在一个实例上运行该操作，而该实例发生故障，则不会将数据提取到elasticsearch中。另一方面，如果我在多个实例上运行该操作，则可以避免任何一个实例的失败，但是在Elasticsearch中将有重复的数据。

我相信将负载平衡器与logstash-forwarder或filebeat一起使用可以避免此问题，因为数据将平均发送到所有实例。不幸的是，我只能从我的logstash实例查询数据库，而不能在数据库服务器本身上设置logstash-forwarder或filebeat。

Answer 1

我编写的ftp {}输入过滤器遇到了与您描述的问题相同的问题。目前，它仅安装在一台logstash机器上，并且在系统故障的情况下，需要进行一次敏感的运行才能将其移至另一logstash上。不理想。

我开始不喜欢使用logstash来收集数据，而倾向于使用外部程序来收集数据以及使用logstash-forwarder进行运输。

以我为例，我将把ftp收集器重写为一个独立的脚本，该脚本将文件放入logstash-forwarder监视的目录中。当然，那里也没有固有的冗余，但是至少我可以随意重新启动logstash实例。