hadoop - 卡夫卡内存要求

Question

我是kafka的初学者

我们正在寻找我们的 kafka 集群(一个 5 节点集群)的大小，以处理 17,000 个事件/秒，每个事件的大小为 600 字节。我们计划复制 3 个事件并将事件保留一周

我在kafka的文档页面看了

    assuming you want to be able to buffer for 30 seconds and 
compute your memory need as write_throughput*30.

那么这到底是怎么写的呢？如果它是每秒 MB 的数量 - 我正在查看 9960MB/Sec

if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )

那么 292GB 代表一个节点或整个集群(5 个节点)的内存需求是多少

我非常感谢您对内存和磁盘大小的一些见解。

问候语言

Answer 1

如果您的消息大小为 600 字节，每秒 17k 条消息，那么您的吞吐量将为 ~10MB/s [17000*600/(1024*1024)]。如果您对主题进行分区并使用 5 个代理，每个代理有 3 个副本 10/5*3 = 6MB/s，您需要缓冲，这在任何普通硬件上都不成问题。缓冲 30 秒将意味着 180MB 内存。

如果您指的是 600kB 的消息大小，那么您需要考虑添加大量非常快速的存储以达到 6GB/s，实际上增加集群的节点数量会更好.