apache-kafka - Flink(Kafka 来源)如何管理偏移量？

Question

我正在使用Flink的FlinkKafkaConsumer09，我想知道kafka消费者的偏移量存储在哪里？

我在 Zookeeper 和 Kafka 的偏移主题中都找不到它们。 kafka-consumer-offset工具也找不到。

这是由 Flink 内部处理的吗？

Answer 1

Flink does not purely rely on Kafka’s consumer group offset tracking, but tracks and checkpoints these offsets internally as well.

Flink 使用来自 Kafka 主题的数据并使用 Flink 的分布式检查点机制定期检查点。如果发生故障，Flink 将从检查点目录恢复记录，然后开始从 Kafka 偏移量读取数据。

为了使用故障 Kafka 消费者，在 Flink 中启用检查点非常重要。

以下是您可以如何做到的。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(5000); // checkpoint every 5000 msecs