apache-kafka - Kafka 镜像集群中如何维护客户偏移量？

Question

假设我有两个 Kafka 集群，我正在使用 mirror maker将主题从一个集群镜像到另一个集群。我知道消费者有一个嵌入式生产者来向 __consumer-offset 提交偏移量Kafka 集群中的主题。我需要知道如果主 Kafka 集群出现故障会发生什么？我们是否同步 __consumer-offset还有话题？因为辅助集群可能有不同数量的代理和其他设置，我认为。

请告诉Kafka镜像集群如何处理消费者偏移？

是否auto.offset.reset设置在这里起作用吗？

Answer 1

更新
从 Apache Kafka 2.7.0 开始，MirrorMaker 能够复制提交的偏移量。参见 https://cwiki.apache.org/confluence/display/KAFKA/KIP-545%3A+support+automated+consumer+offset+sync+across+clusters+in+MM+2.0
原答案
镜像制造商不复制偏移量。
此外，auto.offset.reset与此完全无关，因为它是一个消费者设置，它定义了消费者应该从哪里开始读取案例，在启动时找不到有效的提交偏移量。
不镜像偏移量的原因基本上是，它们在镜像集群上可能没有意义，因为不能保证消息在两个集群中具有相同的偏移量。
因此，在故障转移的情况下，您需要自己找出一些“聪明”的东西。一种方法是记住上次处理记录的元数据时间戳。这允许您根据镜像集群上的时间戳“寻找”以找到那里的近似偏移量。 (为此，您将需要 Kafka 0.10。)