hadoop - kafka磁盘崩溃时的过程是什么+磁盘崩溃后如何删除旧主题

Question

我们在HDP集群中有3台kafka机器

kafka01
kafka02
kafka03

kafka version -     0.10.0.2.6

每台kafka机器(kafka03)都有18T的磁盘

和

default.replication.factor=3

最后的 kafka 机器松动了磁盘(磁盘不健康，我们需要更换它)

所以我们更换了磁盘，我们在上面再次创建文件系统并再次创建主题

但是 - 众所周知，在从主题中删除 kafka 数据之前，我们需要删除 /var/kafka/kafka-logs 中的所有主题

然后就可以安全更换磁盘了

但事实并非如此，因为磁盘突然变皱了，我们没有删除主题

现在kafka broker服务在一段时间后停止了，我们认为这是因为在磁盘更换之前没有删除主题

关于这个案例有什么建议吗？

示例如何删除主题 - PlR_TGE_FDS(我们没有删除)，以及另外 23 个未删除的主题

/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --zookeeper zookeper_server01:2181 --delete --topic PlR_TGE_FDS

Answer 1

您是否为集群中的每个代理使用单个磁盘？

如果磁盘崩溃，Kafka 代理应该检测到它并关闭。更换坏盘后，再次启动您的代理，它应该从其他代理复制所有数据，然后将领导权还给他。

我不明白你为什么要在磁盘磁盘故障的情况下删除主题，复制因子有什么意义？我错过了什么吗？

[1] How to handle disk failures in Kafka? - Hortonworks
[2] Disks and Filesystem - Kafka Documentation