apache-kafka - Kafka 最小(生产)设置

Question

我们计划在我们的产品中使用 Apache Kafka，因为它似乎可以很好地处理水平扩展和减震——而我们的云环境需要这些功能。

但我们也计划将我们的产品部署到 RAM 消耗是优先考虑的环境中。然而，这些环境不需要大的吞吐量。假设为 1MB/s，更大的部署为 5MB/s。消息将相当小，每个 1kB。

对于这些部署，我们不需要 HA，也不需要任何完美的性能。我们只需要它是稳定的，24 小时保留(我们将在合理的磁盘上有足够的空间)。

在这些条件下可以使用 1GB RAM 运行 Kafka 吗？ (甚至更少)。如果没有，最小的设置是什么？

Answer 1

以防万一有人也对这个问题感兴趣。我们测试了 Xmx=1GB 的单节点 Kafka，摄取 twitter 流 API(每秒约 50 条消息，每条 5-10kB)。

我们还尝试停止 kafka 消费者一段时间，以便在再次启动时有很多消息。我们已经在 Kafka 的这一侧实现了每秒 2500 条消息。

使用的机器:来自 AWS 的 2x t2.medium - 一台用于摄取和代理，一台用于消费者。