message-queue - Kafka中如何同时实现分布式处理和高可用？

Question

我有一个由 n 个分区组成的主题。为了进行分布式处理，我创建了两个在不同机器上运行的进程。他们使用相同的 groupd id 订阅主题并分配 n/2 个线程，每个线程处理单个流(每个进程 n/2 个分区)。

这样我就可以实现负载分配，但现在如果进程 1 崩溃，进程 2 就无法使用分配给进程 1 的分区中的消息，因为它在开始时只监听 n/2 个流。

否则，如果我配置 HA 并在两个进程上启动 n 个线程/流，那么当一个节点发生故障时，所有分区将由其他节点处理。但在这里，我们对分布进行了妥协，因为所有分区一次将由一个节点处理。

有没有办法同时实现两者以及如何实现？

Answer 1

是的，使用现有的流处理引擎。 Storm是一个不错的选择，Spark 也是如此。和 Samza ，取决于您的用例。

现在您可以自行部署，但正如您已经发现的那样，管理失败的流程和高可用性是很棘手的。一般来说，分布式处理充满了许多其他人已经解决了的微妙问题。站在你的立场上，我会使用现有的软件来解决这个问题。