node.js - kafka 消费者组在 kafka-node 中获取重复消息

Question

我正在尝试在 Node 中为我的应用程序设置 Kafka 队列。我在一个消费者组中有 3 个消费者，并且订阅了单个主题，但是当生产者将消息发送到具有 3 个分区的主题时，消费者组会收到重复的消息例如，消费者 1 从分区 1 读取并获取消息，消费者 2 也从同一分区读取并获取相同的消息。

我已经给出了 git 存储库的链接，其中包含所有可执行代码。我找不到是设置问题吗？或者 Node 包问题。

下面提供了创建消费者组的选项

    consumerOptions = {
          'kafkahost:'localhost:9092',
          groupId: groupName,
          autoCommit: true,
          autoCommitIntervalMs: 1000,
          sessionTimeout: 15000,
          fetchMaxBytes: 10 * 1024 * 1024, // 10 MB
          protocol: ['roundrobin'],
          fromOffset: 'earliest'
    };

    var consumer = new kafka.ConsumerGroup(Object.assign({ id: 'consumer1' }, consumerOptions), topicName);

请参阅此链接以获取可执行代码、代理配置和 Zookeeper 配置 https://github.com/Raghavendralacharya/kafka-node.git

Answer 1

尝试将 fromOffset 配置更改为:

fromOffset: 'latest'