apache-kafka - Kafka 在同一主题和分区上与多个生产者进行排序

Question

假设我有两个生产者(ProducerA 和 ProducerB)使用单个分区写入同一主题。每个生产者都在连续编写自己独特的事件。因此，如果 ProducerA 触发 3 个事件，然后 ProducerB 触发 3 个事件，我的理解是 Kafka 无法保证生产者事件的顺序如下:

生产者A_event_1

生产者A_event_2

生产者A_event_3

生产者B_event_1

生产者B_event_2

ProducerB_event_3

由于确认，重试等。

然而，个别制作人的事件仍会正常吗？例如:

生产者A_event_1

生产者B_event_2

生产者B_event_1

生产者A_event_2

生产者A_event_3

ProducerB_event_3

这当然是我正在做的事情的简化版本，但我只想保证，如果我正在阅读特定生产者事件的主题，那么即使其他生产者的事件将它们交织在一起，这些事件也将是有序的。

Answer 1

有a nice article在媒体上指出，即使对于同一个生产者，Kafka 也并不总是保证消息排序。这一切都取决于 Kafka 配置。特别是max.in.flight.requests.per.connection必须设置为 1 .原因是如果有多个请求(比如 2 个)在进行中并且第一个失败，第二个将更早地附加到日志中，从而破坏排序。