gpt4 book ai didi

apache-kafka - 分区的重新分配无限地停留在 "Still in progress"状态

转载 作者:行者123 更新时间:2023-12-05 03:57:07 24 4
gpt4 key购买 nike

我们有 6 个节点的 kafka 集群。在这 6 台机器中,其中 3 台同时具有 Kafka + zookeeper,其余 3 台只有 kafka。最近又加了一个kafka节点。在将分区重新分配给所有节点(包括较新的节点)时,我们执行了以下命令:

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --execute --zookeeper localhost:2181

但是,当我们使用以下命令验证状态时,

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181

我们得到以下输出。一些分区的重新分配仍在进行中。

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181 | grep 'progress'
Reassignment of partition [topic-name,854] is still in progress
Reassignment of partition [topic-name,674] is still in progress
Reassignment of partition [topic-name,944] is still in progress
Reassignment of partition [topic-name,404] is still in progress
Reassignment of partition [topic-name,314] is still in progress
Reassignment of partition [topic-name,853] is still in progress
Reassignment of partition [prom-metrics,403] is still in progress
Reassignment of partition [prom-metrics,134] is still in progress

也没有办法:

  1. 取消正在进行的分区重新分配。
  2. 回滚也是不可能的。 (当我们尝试这样做时,它说 “有一个现有的作业正在运行。”

卡夫卡版本:0.10.1.1

平台:Amazon Linux 1 x86_64 GNU/Linux

谁能帮我解决这个问题?

最佳答案

您可以通过删除 zk 节点来取消正在进行的分区重新分配:delete/admin/reassign_partitions。然后你可以回滚或重新分配另一个 json 文件。

关于apache-kafka - 分区的重新分配无限地停留在 "Still in progress"状态,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58796087/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com