java - KStream从一个集群到多个集群

Question

我的 Kafka 集群中需要有一个 java 模块来获取一条消息，并且根据消息的两个字段，它会被丰富并发布到另一个 kafka 集群。我一直在研究 KStream API，但找不到将内容发送到另一个集群的方法(不使用发布者库)。

有什么想法吗？我该怎么做？

谢谢!

Answer 1

I need to have one java module in my Kafka cluster that will get a message, and depending on two fields of the message, it would be enriched and published to another kafka cluster. I've been researching KStream API and I can't find a way to send things to another cluster (without using the publisher library).

目前，Kafka 的 Streams API 一次仅与一个给定集群进行交互。也就是说，您无法使用 Streams API 从 Kafka 集群 A 读取数据，然后写入 Kafka 集群 B。

Any ideas and how can I do this?

因此，我建议为此使用 Kafka Connect。 Kafka 的最新版本包括所谓的 Single Message Transformations Kafka Connect 中的功能，您可以使用它来进行消息路由。

如果您愿意使用商业工具，Confluent Replicator ( docs ) 允许您执行此类跨集群数据流，如上面提到的 Hans Jespersen。

演讲 Single Message Transformations Are Not the Transformations You’re Looking For 是一个很好的高级起点。 (不要被标题吓倒:-P)作者 Ewen Cheslack-Postava，他是开发新 SMT 功能的 Kafka 提交者之一。还有一个blog post简要描述了 Kafka Connect 中的 SMT。