gpt4 book ai didi

apache-kafka - Kafka 代理是否存储元数据?

转载 作者:行者123 更新时间:2023-12-05 08:54:24 24 4
gpt4 key购买 nike

Kafka broker 是否存储生产者 API 使用的元数据(例如,哪些分区是主题的领导者等)?据我了解,此元数据存储在 Zookeeper 中,是否正确?如果是,那么 Zookeeper 如何使用最新信息更新 Brokers?

最佳答案

所有 Kafka broker 都可以响应描述集群当前状态的元数据请求:有哪些主题,这些主题有哪些分区,哪个 broker 是这些分区的领导者等。

ZooKeeper 负责:

  • 选择一个 Controller 经纪人 - 并确保只有一个
  • 集群成员——允许代理加入集群
  • 主题配置 - 存在哪些主题,每个主题有多少个分区,副本在哪里,谁是首选领导者,为每个主题设置哪些配置覆盖
  • 配额 - 每个客户端允许读取和写入的数据量
  • ACLs - 允许谁读写哪个主题

Kafka 和 ZooKeeper 之间有定期通信,这样 ZooKeeper 知道 Kafka 代理仍然存在(ZooKeeper 心跳机制),并且还会响应诸如创建主题或主题分区的副本不同步等事件.

关于apache-kafka - Kafka 代理是否存储元数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50306498/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com