apache-kafka - 如何在单个 Kafka Streams 应用程序中连接到多个集群？

Question

在 Kafka Streams Developer Guide它说:

Kafka Streams applications can only communicate with a single Kafka clusterspecified by this config value. Future versions of Kafka Streams willsupport connecting to different Kafka clusters for reading input streams andwriting output streams.

这是否意味着我的整个应用程序只能连接到单个 Kafka Cluster 或 KafkaStreams 的每个实例？只能连接到单个集群？
我可以创建多个具有连接到不同集群的不同属性的 KafkaStreams 实例吗？

Answer 1

这意味着单个应用程序只能连接到一个集群。

您无法从集群 A 读取主题并将计算结果写入集群 B。

不可能从具有相同实例的两个不同集群中读取两个主题。

Could I create multiple KafkaStreams instances with different properties that connect to different clusters?

是的，绝对。但是这些不同的实例将是不同的应用程序。 (想想“消费者群体”。)

更新:

在单个 JVM 中，您可以创建多个 KafkaStreams你喜欢的实例。您还可以将它们配置为连接到不同的集群(如果您想进行相同的处理，您可以对所有集群使用相同的 KStreamBuilder)。