apache-kafka - Apache Kafka 如何与多个代理和单个代理一起工作

Question

我已经开始学习 Kafka，在学习过程中，我对 Kafka 的工作过程遇到了一些困惑，我将与您分享这些困惑，并期待得到澄清。

(1.) 创建了 3 个具有 3 个复制因子和 3 个分区的代理

当我将消息推送到代理时，消息将被代理中的领导分区之一接收并将其发送到其副本。

它用什么方式传递副本的消息？ (方法 1 或方法 2 或其他方式)

1. 方法一

1. 方法 2

(2.) 如果我创建一个具有 3 个分区的代理

那么消息会被leader分区接收，属于leader那么其他2个分区有什么用呢？

Answer 1

which way is it used to pass a message with replicas?

这将是 approach-1。如果您将一些消息写入主题的分区 2，则相同的消息将复制到也在分区 2 中的复制主题上。

If I create one broker with 3 partitions then the message will be received by the leader partition and it belongs to the leader then what is the use of the other 2 partitions?

关于“分区”和“副本”之间的区别似乎存在混淆。这是完全不同的两件事。我已经在另一个post中写过关于这个的答案。 .关键点是:

“分区”:主题内的数据被分成分区。增加分区数量会增加并行性，因此会增加应用程序的吞吐量，因为您最多可以让 ConsumerGroup 中的一个消费者读取一个分区。

“复制”:复制的分区包含与领导者完全相同的数据。所以同一条消息被多次存储。这确保了持久性，因为相同的消息位于不同的代理上。如果代理发生故障，Kafka 可以切换领导者并将复制的消息提供给其客户端。如果您有 3 个分区但只有 1 的复制因子，那么如果那个代理出现故障，您的所有数据(来自所有分区)都将消失。