streaming - 有没有办法用单个消费者维护 kafka 主题分区之间的消息顺序？

Question

我们正在开发一个基于 kafka 的流媒体系统，其中生产者将在其主题内的多个分区中进行生产，而单个消费者将从该主题中进行消费。我知道kafka维护分区内的消息顺序，但是我们可以维护主题内分区之间的全局消息顺序吗？

Answer 1

简短回答:不，Kafka 不提供分区之间的任何排序保证。

长答案:我不太明白你的问题。如果您说只有一个消费者在使用您的主题，那么为什么该主题中会有超过 1 个分区，并且要重新发明轮子来维持分区之间的顺序？如果你想为 future 的成长留下一些空间，例如添加另一个消费者来消费部分分区，那么您将不得不重新考虑您的“全局消息顺序”想法。

您真的需要按顺序处理所有消息吗？或者也许您可以按客户端/应用程序/任何内容进行分区并维护每个分区的顺序？在大多数情况下，您实际上并不需要全局消息顺序，而只需正确分区数据即可。

维护多个消费者之间的顺序是一个非常难解决的问题，即使正确解决，你也会忽略 Kafka 的所有好处。