gpt4 book ai didi

apache-kafka - Kafka 消费者不会从停止的地方继续

转载 作者:行者123 更新时间:2023-12-02 03:31:33 27 4
gpt4 key购买 nike

我目前正在使用消费者组从 kafka 读取消息。然而,我注意到,如果我的消费者出现故障并且我再次将其恢复,它不会从它停止的地方消费消息。阅读文档后 here ,看来我必须自己实现这个功能。我知道消费者有一个 autooffset.reset 配置,但这似乎允许我从一开始就消费所有内容,或者从当前队列中的最后一条消息开始消费。我的理解正确吗?我必须自己实现这个?或者我在这里遗漏了什么。这似乎是一个非常基本的功能,任何排队系统都应该提供开箱即用的功能。

我使用的版本是 0.8.1.1,Scala 版本是 2.10。

最佳答案

根据链接,您正在尝试使用 SimpleConsumer。使用 SimpleConsumer,您需要处理低级细节,例如自己管理偏移量。这更困难,但可以更好地控制数据的使用方式。

如果您只想读取数据而不必担心底层细节,请查看 HighLevelConsumer:
https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example

关于apache-kafka - Kafka 消费者不会从停止的地方继续,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26349310/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com