apache-kafka - 在Kafka中，是否在主题的所有分区之间复制了每条消息？

Question

如果一个主题有4个分区，并且发布者向该主题发送了一条消息，那么同一条消息会在所有四个分区中复制还是仅在一个分区上复制？

Answer 1

分区和复制是两件事。

分区是为了实现可伸缩性。主题被划分在分布在不同代理上的一个或多个分区中，以便更多使用者可以连接到这些代理，以接收发送到同一主题但来自不同分区的消息。增加分区可以增加可伸缩性，并可以让更多的使用者从同一主题获取消息。回答您的问题，发送给主题的每条消息仅进入(主题本身的)一个分区。

复制是为了容错。您可以在创建主题时指定复制因子，这意味着该主题的每个分区在不同的代理上被复制多次。复制者之一就是生产者发送和消费者获取消息的“领导者”。其他副本是“跟随者”，具有“领导者”副本中消息的副本。如果处理“领导者”副本的代理发生故障，则“跟随者”之一将成为领导者。