elasticsearch - Kafka 到 Elasticsearch、HDFS 与 Logstash 或 Kafka Streams/Connect

Question

我使用 Kafka 进行消息队列/处理。我的问题是关于性能/最佳实践。我将进行自己的性能测试，但也许有人已经有了结果/经验。

数据是 Kafka (0.10) 主题中的原始数据，我想将其结构化传输到 ES 和 HDFS。

现在我看到了两种可能性:

• Logstash(Kafka 输入插件、grok 过滤器(解析)、ES/webhdfs 输出插件)
• Kafka Streams(解析)、Kafka Connect(ES 接收器、HDFS 接收器)

如果没有任何测试，我会说第二个选项更好/更干净并且更可靠吗？

Answer 1

将数据导入 Elasticsearch 的 Logstash“最佳实践”。然而，WebHDFS 不具有作为 Kafka Connect 插件一部分的 Java API 的原始性能。

Grok 可以在 Kafka Streams 进程中完成，因此您的解析可以在任一位置完成。

如果您订阅了 Elastic，那么他们可能会出售 Logstash。 Confluent 想出售 Kafka Streams + Kafka Connect。

Avro 似乎是数据传输的最佳媒介，而 Schema Registry 是一种流行的方式。 IIUC，Logstash 不能很好地与 Schema Registry 或 Avro 一起使用，并且更喜欢 JSON。

---

在 Hadoop 环境中，我会提供 Apache Nifi 或 Streamsets 的中间选项。

最后，这实际上取决于您的优先级，以及您(和您的团队)对这些工具的支持程度。