gpt4 book ai didi

go - 卡夫卡消费者组过期了吗?

转载 作者:数据小太阳 更新时间:2023-10-29 03:28:35 25 4
gpt4 key购买 nike

在我使用 golang 客户端提交偏移量后立即。 https://github.com/Shopify/sarama

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 

Group Topic Pid Offset logSize Lag Owner

ib my-replicated-topic 0 12 12 0 none

BROKER INFO

1 -> localhost:9093

但是,几分钟后,我运行了相同的检查器命令。

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 


Exiting due to: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/ib/offsets/my-replicated-topic/0.

然后我检查了 zookeeper,该节点在任何时候都不存在,即使检查器正确列出了偏移量。

sarama 提交:23d523386ce0c886e56c9faf1b9c78b07e5b8c90卡夫卡 0.8.2.1 golang 1.3

kafka 服务器配置:

broker.id=1
port=9093
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs-1
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

在我看来,消费者群体已经过期了。如何让消费组持久化?

最佳答案

Sarama 不与 zookeeper 对话,我应该使用高级消费者组库反而。

https://github.com/Shopify/sarama/issues/452

关于go - 卡夫卡消费者组过期了吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30342295/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com