apache-kafka - Kafka Connect 配置和偏移主题是否可以共享

Question

两个 Apacke Kafka Connect 元数据主题 config.storage.topic 和 offset.storage.topic 能否在两个或多个独立的 Kafka Connect 集群之间安全共享？

虽然文档说明了每个:

This must be the same for all workers with the same group.id.

文档中并不清楚这些主题是否需要基本上由单个 Kafka Connect 集群拥有。

从广义上讲，我可以看到我的连接 group.id 可以用作主题中项目的前缀，但不清楚是否是，也不知道将 Connect 集群从彼此的元数据中分离出来是否安全。

Answer 1

每个集群都需要自己专门的主题。

如果您有多个 Kafka Connect 集群尝试使用相同的配置/偏移量/状态主题——即使使用不同的 group.id 设置——您将遇到大量错误和/或意外行为来自卡夫卡连接。