apache-kafka - 是什么让 Kafka 的吞吐量高？

Question

大多数文章在读/写吞吐量方面比其他消息代理(MB)(如 ActiveMQ)更好地描述了 Kafka。根据我的理解阅读/写作
在偏移的帮助下使它更快。但我不清楚偏移如何使它更快？

在阅读了 Kafka 架构后，我有了一些了解，但不清楚是什么让 Kafka 基于以下几点具有可扩展性和高吞吐量:-

可能通过偏移量，客户端知道它需要读取哪个确切消息，这可能是使其性能高的因素之一。

并且在其他 MB 的情况下，经纪人需要在消费者之间进行协调，以便
该消息仅传递给消费者。但这仅适用于队列而不适用于主题。那么是什么让Kafka主题比其他MB的主题更快。

Kafka 为可扩展性提供分区，但其他消息代理(MB)如 ActiveMQ 也提供集群。那么Kafka如何更适合大数据/高负载？

在其他 MB 中，我们可以有 listeners 。因此，一旦消息到来，broker 将传递消息，但在 Kafka 的情况下，我们需要轮询，这意味着更多
在经纪人/客户端上加载？

Answer 1

有关 Kafka 与其他消息传递系统的不同之处和更快的许多详细信息，请参阅 Jay Kreps 博客文章here

https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

实际上有很多差异使Kafka表现良好，包括但不限于:

最大限度地利用顺序磁盘读写

消息的零拷贝处理

使用 Linux 操作系统页面缓存而不是 Java 堆进行缓存

跨集群中的多个代理对主题进行分区

卸载某些功能的智能客户端库
经纪人

批处理多个已发布的消息，以减少到代理的网络往返频率

支持多个飞行中的消息

将数据预取到客户端缓冲区中以加快后续请求。