apache-storm - Apache Kafka 与 Apache Storm

Question

Apache Kafka:分布式消息系统
Apache Storm:实时消息处理

我们如何在实时数据管道中使用这两种技术来处理事件数据？

就实时数据管道而言，在我看来两者的工作都是相同的。我们如何在数据管道上使用这两种技术？

Answer 1

您可以使用 Apache Kafka 作为一种分布式且强大的队列，它可以处理大量数据，并使您能够将消息从一个端点传递到另一个端点。

Storm 不是队列。它是一个具有分布式实时处理能力的系统，这意味着您可以并行地对实时数据执行各种操作。

这些工具的常见流程(据我所知)如下:

实时系统 --> Kafka --> Storm --> NoSql --> BI(可选)

因此，您的实时应用程序可以处理大量数据，并将其发送到 Kafka 队列。 Storm 从 kafka 中提取数据并应用一些所需的操作。此时，您通常希望从这些数据中获得一些好处，因此您可以将其发送到某个 Nosql 数据库以进行额外的 BI 计算，或者您可以简单地从任何其他系统查询此 NoSql。