gpt4 book ai didi

apache-kafka - Kafka最大连接数

转载 作者:行者123 更新时间:2023-12-03 19:34:24 30 4
gpt4 key购买 nike

我们计划实现 Kafka 以从各种设备收集日志。我们预计会有大约 1 万台设备。我们可以将所有这些设备直接连接到 kafka 集群,还是应该通过日志服务器收集日志以限制与 kafka 的连接数量?我们计划为每种设备(Linux、Aix、Windows 2003、2008 等)设置一个主题
谢谢

最佳答案

我会说相关的指标是每个 Kaka 节点需要传送的每秒消息数。它的基准测试非常好,每个节点每秒有数十万条消息,每个节点线性扩展。如果一两个节点不够用,您可以随时添加更多节点以提高吞吐量。

一个带有 3 个节点的旧基准测试是每秒处理 80 万条消息(~80 mb),每条消息都被复制到其他节点。

您可以在此处深入阅读:
https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

编辑:
Kafka 连接是幕后的 tcp 连接:
https://cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-Network

引用:

Kafka uses a binary protocol over TCP. The protocol 
defines all apis as request response message pairs.

Tcp 套接字连接非常轻量级,仅受所连接服务器的可用内存限制。一些 Kafka 线性扩展,您应该能够扩展代理并为您预期的任何负载分配主题

关于apache-kafka - Kafka最大连接数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51308547/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com