message-queue - 在 Kafka 中设计生产者和消费者的组件

Question

我正在使用 Kafka 和 Zookeeper 作为我的数据管道的主要组件，它每秒处理数千个请求。我正在使用 Samza 作为实时数据处理工具，用于我需要对数据进行的小型转换。

我的问题是我的一个消费者(比方说 ConsumerA)从 Kafka 消费了几个主题并处理它们。基本上创建已消化主题的摘要。我还想将这些数据作为一个单独的主题推送到 Kafka，但这在 Kafka 和我的组件上形成了一个循环。

这就是困扰我的地方，这是 Kafka 中理想的架构吗？

我是否应该在 Samza 中完成所有处理，并仅将摘要(摘要)信息存储到 Samza 中的 Kafka。但是我要做的处理量相当大，这就是为什么我想为它使用一个单独的组件 (ComponentA)。我想我的问题可以推广到所有类型的数据管道。

那么组件在数据管道中既是消费者又是生产者是一种好的做法吗？

Answer 1

只要 Samza 写入的主题与其消费的主题不同，就不会有问题。读取和写入 Kafka 的 Samza 作业是架构的规范和意图。还可以使用 Samza 作业从另一个系统中获取一些数据，或者将一些数据从 Kafka 写入另一个系统(甚至根本不使用 Kafka 的作业)。

然而，让作业读取和写入相同的主题是您会遇到循环的地方，应该避免。这有可能非常快地填满您的 Kafka 代理的磁盘。