apache-kafka - 我正在评估 Google Pub/Sub 与 Kafka。有什么区别？

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 3 年前。

社区去年审查了是否重新开放此问题，并将其关闭:

原始关闭原因未解决

Improve this question

我对kafka的工作不多，但想在GCE中构建数据管道。所以我们想了解 Kafka 与 PUB/Sub。基本上我想知道Kafka和Pub/sub中如何维护消息一致性、消息可用性、消息可靠性

谢谢

Answer 1

除了 Google Pub/Sub 由 Google 管理并且 Kafka 是开源的之外，另一个区别是 Google Pub/Sub 是一个消息队列(例如 Rabbit MQ)，而 Kafka 更像是一个流日志。您无法使用 Pubsub “重新阅读”或“重播”消息。 (编辑 - 截至 2019 年 2 月，您可以重播消息并及时向后查找到某个时间戳，根据下面的评论)

使用 Google Pub/Sub，一旦从订阅中读出消息并得到确认，该消息就会消失。为了让不同的读者阅读更多的消息副本，您可以通过为该主题创建“订阅”来“扇出”该主题，其中每个订阅都将拥有该主题中所有内容的完整副本。但这也会增加成本，因为 Google 根据读取的数据量来收取 Pub/Sub 使用费。

使用 Kafka，您可以设置保留期(我认为默认为 7 天)，并且无论有多少消费者读取消息，消息都会保留在 Kafka 中。您可以添加一个新的消费者(也称为订阅者)，并让它在您需要的任何时候从主题的前面开始消费。您还可以将保留期设置为无限，然后您基本上可以使用 Kafka 作为不可变的数据存储，如下所述:http://stackoverflow.com/a/22597637/304262

Amazon AWS Kinesis 是 Kafka 的托管版本，而我认为 Google Pubsub 是 Rabbit MQ 的托管版本。带有 SQS 的 Amazon SNS 也类似于 Google Pubsub(SNS 提供扇出，SQS 提供队列)。