apache-kafka - Kafka 代理自动扩展

Question

我正在寻找一些关于 Kafka 代理根据负载自动伸缩的建议。

假设我们有一个电子商务网站，我们正在捕获某些事件或事件，并将这些事件发送到 Kafka。由于在高峰时段/天，站点流量会更多，因此拥有具有固定数量代理的理想 kafka 集群始终不是一个好主意，因此我们希望在站点流量更多时扩大代理数量并缩小规模流量较少时经纪人的数量。

人们如何解决此类问题？我无法在此主题中找到任何资源。任何帮助将不胜感激。

Answer 1

卡夫卡并不是真的那样工作。从集群中添加/删除代理是一个非常需要动手操作的过程，它会在集群上产生大量额外的负载/开销，因此您不希望集群自行自动扩展或缩减。它产生如此多额外开销的主要原因是，在正常流量之上，添加或删除代理需要跨集群进行大量数据复制。基本上，来自死代理的所有数据都需要复制到其他地方，以保持主题/分区的复制因子相同，或者如果它是新代理，则需要从其他代理将数据改组到其中，以便整个集群的负载减少了。所有这些被复制的数据都会在集群上产生大量的 IO/CPU 负载，这可能足以导致重大问题。

处理这种情况的最佳方法是使用高峰时段预期流量的 2 倍甚至 3 倍进行性能测试和优化，并相应地构建集群。这样，如果突然出现峰值，您将有足够的空间，并且您不必横向扩展/缩减。

Kafka 的性能非常出色，即使是每秒数百万条消息的流量，因此您可能会发现您的应用程序/系统所需的集群规模并不像您最初想象的那么大/昂贵。