apache-kafka - Kafka 偏移管理 : enable. auto.commit vs enable.auto.offset.store

Question

默认情况下，Kafka Consumer 会定期提交当前偏移量，除非通过禁用 enable.auto.commit 将其关闭。 .根据文档，您将负责自己提交偏移量。所以当我想要 手册 控制，这似乎是要走的路，但是documentation还提到了存储的偏移量，如果你想手动控制你应该禁用 enable.auto.offset.store并使用 rd_kafka_offsets_store()并保持自动提交不变。

有人可以解释为什么首选后一种方法吗？禁用自动提交应该具有完全相同的效果吗？

Answer 1

与 enable.auto.commit=true librdkafka 将定期、重新平衡和消费者关闭时为每个分区提交最后存储的偏移量。

此处使用的偏移量取自内存中的偏移量存储。本店会在enable.auto.offset.store=true时自动更新.

如果您设置 enable.auto.offset.store=false你可以通过 rd_kafka_offsets_store() 自己更新这个内存中的偏移存储.

这比禁用 enable.auto.commit 更受欢迎因为您不必自己定期重新实现调用 commit，而是可以依赖已经内置的逻辑。

您可以手动控制是否以任何方式提交偏移量，但禁用 enable.auto.commit并调用 commit你自己很可能会导致更频繁的提交。