queue - 简单的拉取消息队列

Question

我正在努力为这项工作找到合适的工具。我探索了一些不同的消息队列，如 Kafka、Kestrel 等……我正在寻找具有 PULL 功能的东西。

我有一个 API(分布式)将传入的消息推送到队列中。然后我让工作人员(单独的机器)从队列中提取消息。这确保了工作人员不会被淹没并且无法处理队列的负载。

我想知道 Kafka 或 Kestrel 是否支持这种类型的功能

Answer 1

Kafka 确实在推拉基础上工作，并且能够处理大规模的实时流。同样如他们的文档中提到的，Kafka 的性能在数据大小方面实际上是恒定的，因此保留大量数据不会成为问题。

用于处理流结帐 Storm .它是免费的、容错的、分布式的实时计算系统，并且非常容易扩展。它完全符合您的要求(在不同的机器上运行 worker )。并且它还支持transactional拓扑。最重要的是，它与 Apache Kafka 有很好的集成。

有关 Storm 检查的更多信息 here

因此，通常您可以做的是使用他们的消费 API 从 Kafka 队列中检索消息，然后将其提供给 Storm 集群以分布式方式完成其余的工作。 Kafka 0.8 提供了两种类型的 API，

High Level or consumer group

Low level or Simple consumer API

前者为消费数据提供了高级抽象，并负责处理线程、错误处理等许多事情，而后者则允许对消息处理进行更好的控制，例如多次读取消息、消息事务等。

High level consumer API example

Simple Consumer example