apache-kafka - Apache Kafka消费者组和简单消费者

Question

我是Kafka的新手，对于消费者我了解到的情况基本上是两种类型的实现。
1)The High level consumer/consumer group
2)Simple Consumer

有关高级抽象的最重要部分是，当Kafka不在乎处理偏移量时使用它，而Simple使用者提供了对偏移量管理的更好控制。如果要在多线程环境中运行使用者并希望对偏移量有控制权，我会感到困惑的是。如果使用使用者组，这是否意味着我必须从存储在zookeeper中的最后一个偏移量中读取数据？是我唯一的选择。

Answer 1

在大多数情况下，高级使用者API不允许您直接控制偏移量。

首次创建使用者组时，可以使用auto.offset.reset属性告诉它是从kafka存储的最早消息还是最新消息开始。

您还可以通过将auto.commit.enable设置为false来控制高级消费者何时向Zookeeper提交新的偏移量。

由于高级使用者将偏移量存储在zookeeper中，因此您的应用程序可以直接访问zookeeper并操纵偏移量-但它不在高级使用者API的范围内。

您的问题有点令人困惑，但是您可以在多线程环境中使用简单的使用者。这就是高级消费者所做的。