multithreading - Kafka中的Worker Queue选项

Question

我们正在开发一个应用程序，它将通过UDP从一组设备中接收作为字节数组的时间序列传感器数据。此数据需要解析并存储在Cassandra数据库中...

我们使用RabbitMQ作为消息代理，并使用基于工作队列的使用者来解析数据并将其插入cassandra ...由于流量增加，我们担心RabbitMQ的性能，并计划迁移到Kafka ...我们的我们的理解是正确的，可以使用kafka中的消费者组来实现。

Answer 1

使用Apache Kafka，您可以相对轻松地扩展主题。为了能够同时处理更多数据，您需要:

在同一个使用者组中有多个使用者，您将能够同时使用多个消息。您限于一个主题的分区数。

增加主题的分区数量，并增加使用者数量。

如果您仍要处理更多数据，请增加代理的数量。

我将按上述顺序处理可伸缩性，但是Kafka可以处理很多事情。在具有2个代理，每个主题4个分区和2个使用者(每个使用者每个分区使用一个线程)的设置中，使用者将json解码为java对象，将其丰富并存储到Cassandra，它可以处理30k/s(数据批量处理200个插入语句)。