elasticsearch - 使用Logstash通过单个配置文件将数据馈送到输出插件中的多个elasticsearch “clusters”

Question

我正在使用ELK和Logstash-forwarder。我正在尝试使用一个logstash实例将数据发送到多个elasticsearch clusters。我的伐木 worker 输出配置看起来像

output {
  elasticsearch {
    host => "localhost"
    cluster => "my-es-cluster"
  }
  elasticsearch {
    cluster => "my-another-cluster"
  }
  stdout { codec => rubydebug }
}

当我这样写第二个 elasticsearch块时，它用

{:timestamp=>"2015-07-22T00:02:53.274000+0000", :message=>"Lumberjack input: the pipeline is blocked, temporary refusing new connection.", :level=>:warn}

如 this Logstash discussion thread中所述。我发现只有 this old Google group discussion具有类似的情况，但是在注释中只提到了 ，应该可以使用。我检查了输出插件的文档，但据我所知，没有提到在一个输出插件conf文件中使用相同的输出块。

我是否缺少明显的东西？

Answer 1

{:timestamp=>"2015-07-22T00:02:53.274000+0000", :message=>"Lumberjack input: the pipeline is blocked, temporary refusing new connection.", :level=>:warn}

我确定，此警告未与输出中的第二个群集连接。我的Logstash日志中有同样的警告，但是我只发送到一个集群。我认为此错误意味着，队列中有太多消息，Logstash将等待一段时间。现在，我忽略了此警告，并且我的群集运行良好。我的群集每24小时获得超过120 gb的信息。