gpt4 book ai didi

apache-kafka - 当 Kafka Broker 在配置的保留时间/字节之前用完空间时会发生什么?

转载 作者:行者123 更新时间:2023-12-05 03:29:31 27 4
gpt4 key购买 nike

我知道大多数系统都应该进行监控以确保不会发生这种情况(并且我们应该正确设置保留策略),但我很好奇如果 Kafka Broker 确实用完了磁盘空间会发生什么(例如,如果我们将保留时间设置为 30 天,但 Broker 在第一天就用完了磁盘空间)?

在单个 Broker 场景中,Broker 是否只是停止接收任何新消息并向 Producer 返回异常?还是删除旧消息为新消息腾出空间?

在多 Broker 场景中,假设我们有 Broker A(分区的领导者,但没有更多磁盘空间)和 Broker B(分区的跟随者,但仍有磁盘空间),领导权会转移到 Broker B 吗?当两个代理都用完空间时会发生什么?它是否也向生产者返回异常?

最佳答案

假设主数据目录不在单独的卷上,操作系统进程本身将开始锁定,因为设备上没有可用空间。

否则,如果日志目录与 Kafka 隔离,您可以期望任何生产者确认停止工作。不过,我不确定是否向客户返回了特定的错误消息。据我所知,经纪人只是停止响应 Kafka 客户端请求,我们不得不通过 SSH 连接到他们,停止 kafka 服务,并手动清理文件,而不是等待保留策略。不,经纪人不会抢占旧数据以支持新记录

关于apache-kafka - 当 Kafka Broker 在配置的保留时间/字节之前用完空间时会发生什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71005238/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com