apache-kafka - 为什么Kafka是基于拉而不是基于推的？

Question

为什么Kafka是基于拉而不是基于推的？我同意 Kafka 提供了我所经历的高吞吐量，但我不知道如果基于推送，Kafka 吞吐量会如何下降。关于基于推送如何降低性能的任何想法？

Answer 1

当我们设计这样的系统(拉 vs 推)时，可扩展性是主要的驱动因素。 Kafka 具有很强的可扩展性。 Kafka 的主要优势之一是可以非常轻松地添加大量消费者，而不会影响性能和停机时间。

Kafka 可以以每秒 10 万+ 的速率处理来自生产者的事件。 由于 Kafka 消费者从主题中提取数据，因此不同的消费者可以以不同的速度消费消息。 Kafka 还支持不同的消费模型。您可以让一个使用者实时处理消息，另一个使用者以批处理模式处理消息。

另一个原因可能是 Kafka 不仅是为像 Hadoop 这样的单一消费者而设计的。不同的消费者可能有不同的需求和能力。

基于拉动的系统有一些缺陷，例如由于定期轮询而浪费资源。 Kafka 支持“长轮询”等待模式，直到真实数据通过以缓解此缺点。