java - Spring Boot kafka中基于消费者记录key的多个消费者

Question

我想根据消费者记录键列出kafka主题。现在我有消费者，并且根据我正在处理记录的条件

@KafkaListener(topics = "topic",
        containerFactory = "kafkaListenerStringContainerFactory")
public void listenasString(ConsumerRecord<String, String> cr) {
  if (cr.key().equals("A")) {
    //do some processing
  } else if (cr.key().equals("B")) {
    //do some processing
  }

}

是否可以让多个消费者根据 key 收听同一个主题？

Answer 1

我不确定你想要的是否可能

have multiple consumers to listen to same topic

是的，这是可能的

based on the key

这不是，因为键不可查询。您需要计算该键的分区，然后需要将消费者分配给该分区。

在 Spring 之外，您可以初始化 DefaultPartitioner 并使用 consumer.assign 来完成此工作

从那里我建议每个分区使用一个消费者线程，并且您的辅助 if 语句需要移动，除非同一分区中有多个键(这是可能的)