apache-kafka - Kafka - 根据主题前缀设置最小 ISR

Question

我有以下问题需要解决。你们知道允许根据主题前缀设置不同的最小 ISR 值的机制吗？例如使用前缀 app-* 创建的主题会将最小 ISR 因子值设置为 2，logs-*等于 1 但值为 core-*将是 4。

---

解决方案建议

min.insync.replicas.per.topic=topic_name_1:value,topic_name_2:value看起来几乎是一个解决方案，但不幸的是它在 min.insync.replicas 时被隐藏了。也出现在 kafka.properties 中.所以我将探索是否有解决方案将这两个 Prop 结合起来。 source

使用验证最小 ISR 值

./kafka-configs.sh --bootstrap-server localhost:9092 \
 --entity-type topics --entity-name $TOPIC --describe --all

Answer 1

您还可以使用 kafkactl为此:

# first run with --validate-only to see what kafkactl will do
kafkactl get topics -o compact | grep '^app.*'  | xargs -i echo "echo Topic: {};kafkactl alter topic {} --replication-factor 2 --validate-only" | sh
kafkactl get topics -o compact | grep '^log.*'  | xargs -i echo "echo Topic: {};kafkactl alter topic {} --replication-factor 1 --validate-only" | sh
kafkactl get topics -o compact | grep '^core.*' | xargs -i echo "echo Topic: {};kafkactl alter topic {} --replication-factor 4 --validate-only" | sh

# then do the replica reassignment
kafkactl get topics -o compact | grep '^app.*'  | xargs -i echo "echo Topic: {};kafkactl alter topic {} --replication-factor 2" | sh
kafkactl get topics -o compact | grep '^log.*'  | xargs -i echo "echo Topic: {};kafkactl alter topic {} --replication-factor 1" | sh
kafkactl get topics -o compact | grep '^core.*' | xargs -i echo "echo Topic: {};kafkactl alter topic {} --replication-factor 4" | sh

请注意，kafkactl 为此使用的 Kafka API 仅适用于 Kafka ≥ 2.4.0。

免责声明:我是这个项目的贡献者