gpt4 book ai didi

java - Kafka Consumer Properties 从最大偏移量读取

转载 作者:行者123 更新时间:2023-11-30 08:33:28 26 4
gpt4 key购买 nike

我写了一个 Java Kafka Consumer。我想确定如何明确确保一旦 Kafka 消费者启动,它只读取生产者从那时起发送的消息,即它不应该读取生产者已经发送给 Kafka 的任何消息。谁能解释如何确保这一点? :

这是我使用的属性的片段

Properties properties = new Properties();
properties.put("zookeeper.connect", zookeeperHost);
properties.put("group.id", group);
properties.put("auto.offset.reset","largest");
ConsumerConfig consumerConfig = new ConsumerConfig(properties);
consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);

9 月 14 日更新:

我正在使用以下属性,似乎消费者有时仍然从头开始阅读,有人能告诉我现在出了什么问题吗?

我正在使用 Kafka 版本 0.8.2

properties.put("auto.offset.reset","largest");
properties.put("auto.commit.enable","false");

最佳答案

根据上面的回答,似乎设置消费者属性的正确机制如下:

 properties.put("auto.offset.reset","largest");
properties.put("auto.commit.enable","false");

这确保从最大偏移量读取

关于java - Kafka Consumer Properties 从最大偏移量读取,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39460283/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com