java - 是否可以使用 KafkaIO.read 为单个管道的两个不同集群指定 Kafka 引导服务器？

Question

我目前正在使用 Google Cloud Dataflow 和 Apache Beam 来使用来自两个不同 Kafka 集群中存在的 Kafka 主题的消息，这两个集群包含相同的主题名称，但主题中的数据不同。Kafka 集群是分开的，因为它们包含来自不同区域的数据。

我只是想知道是否可以通过在单个 KafkaIO.read 数据流管道步骤中列出两个集群的所有引导服务器来使用两个集群的数据？

.withBootstrapServers("CLUSTER1_SERVER:PORT,CLUSTER2_SERVER:PORT");

我正在阅读有关 Kafka 引导服务器的文档，我不清楚在连接到引导服务器后，消息是否只会从第一个成功的引导服务器连接集群中消耗，或者是否会尝试提供的所有引导服务器并从找到的所有集群中进行消耗。如果是前者，那么我将需要创建第二个数据流管道来处理来自第二个集群的消息，但如果我可以在单个管道中处理来自两个集群的消息，那就容易得多。

任何信息将不胜感激。

Answer 1

Beam KafkaIO 只是将此标志传递给 Kafka 的 ConsumerConfig 的 BOOTSTRAP_SERVERS_CONFIG flag 。我认为这个参数是为了从同一个 Kafka 集群传入多个代理来进行故障转移。不适用于传入来自不同 Kafka 集群的服务器。请参阅here有关 Kafka 架构的详细信息。我怀疑当您从多个集群指定服务器时，它只会选择第一个 Activity 的服务器。