elasticsearch - 如何将 Kafka 批量读取到 Elasticsearch

Question

我对卡夫卡不太熟悉，但我想知道最好的方法是什么从 Kafka 批量读取数据，这样我就可以使用 Elasticsearch Bulk Api 更快、更可靠地加载数据。

顺便说一句，我正在为我的 Kafka 消费者使用 Vertx

谢谢，

Answer 1

我无法判断这是否是最好的方法，但是当我开始寻找类似的功能时，我找不到任何现成的框架。我找到了这个项目:

https://github.com/reachkrishnaraj/kafka-elasticsearch-standalone-consumer/tree/branch2.0

并开始为它做出贡献，因为它并没有完成我想要的一切，而且也不容易扩展。现在 2.0 版本非常可靠，我们公司在生产中使用它每天处理/索引 3 亿多个事件。

这不是 self 推销:) - 只是分享我们如何做相同类型的工作。当然，现在可能还有其他选择。