elasticsearch - sebp/elk logstash无法使用Kafka接收数据

Question

根据logstash-logs，我正在使用https://hub.docker.com/r/sebp/elk/的Docker ELK容器，一切正常且正在运行。

现在，我尝试从Kafka接收数据并使用以下配置写入ES:

input {
    kafka {
        topic_id => "collectortopic"
        zk_connect => "172.17.0.2:2181"
        type => "kafka-input"
    }
}
output {
    elasticsearch {
        hosts => ["172.17.0.4:9200"]
        codec => json
    }
    stdout {
        codec => json
    }
}

但是设置中的任何内容似乎都是错误的，因为我无法接收任何数据。控制台中没有Logstash的任何输出，也没有Kibana中的任何数据，因为没有创建logstash索引，根据插件文档，这应该是默认行为。

我的Kafka设置很好，因为我可以与其他应用程序发送和接收数据，zk_connect也是正确的，因为否则我会遇到异常...

有任何想法吗？

提前致谢!

附注:Kafka 0.9.1，Logstash 2.3.3，ES 2.3.3

Answer 1

您是否检查过Logstash服务器是否可以与Kafka和Elasticsearch通信？

您可以使用此:

对于Elasticsearch:

curl 172.17.0.4:9200

如果您有类似以下的答案:

{
  "name" : "inf01-log-els",
  "cluster_name" : "inf01-log-els",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

对于kafka，您可以通过以下方法进行检查:

telnet 172.17.0.2 2181

我因此遇到了一些ELK问题。