apache-kafka - 基于消费者滞后的Kafka节流生产者

Question

有没有办法根据消费者滞后或其他消费者问题暂停或限制 Kafka 生产者？生产者是否需要自行确定是否存在消费者滞后，然后自行执行节流？

Answer 1

Kafka 建立在 Pub/Sub 设计之上。生产者将消息发布到中心化主题。多个消费者可以订阅该主题。由于涉及多个消费者，因此您无法决定生产者速度。一个消费者可能很慢，另一个可能很快。这也违反了设计原则，否则两个系统将变得紧密耦合。如果您有节流的用例，您可能应该评估其他框架，例如直接休息调用。