java - 卡夫卡 : what's the best way to dynamically determine the number of partitions in a topic from the consumer side?

Question

我们有 Java 代码来管理读取四个分区主题的 Kafka 流消费者线程池(因此我们有四个消费者线程)。

动态检索分区数的推荐方法是什么，以便线程池 cat 中的初始化代码设置正确的线程数？

能够动态调整以适应越来越多的分区不是必需的。

查看 Java API (v.0.8.1)，我找不到一种直接的方法来完成它。目前我正在浏览 Scala 源代码，我看到了很有前途的类(也欢迎使用 Scala 解决这个问题)，但是我也想向社区询问这个问题，以防有人已经找到了一个很好的方法。

谢谢，

Answer 1

多于分区的线程将以空闲线程结束，因为每个分区只能由一个消费者线程使用。另一方面，分区多于线程最终会导致每个线程消耗多个分区，进而影响性能。

因此，为了简单起见，只需使用与分区完全相同的线程数即可。如果您发现性能成为问题，也许您应该有更多的分区，然后有更多的线程。