apache-kafka - 是否可以从 Kafka 服务器杀死消费者？

Question

当我检查消费者滞后时，它显示特定的 consumer-id 正在从消费主题的特定主机运行。但是当我去那个主机时，没有这样的消费者在运行。

我如何杀死这个 consumer-id，以便我可以为其所属的组重置消费者偏移量。

Kafka server version: 0.11.0.1

Kafka client version(stuck): 0.10.0.2

这个 consumer-id 一开始就卡住了，因为它无法消费消息，因为一些消息在 Kafka 中有 header 。

我已经尝试过以下方法:

1. 从不同的主机和不同的 Kafka 版本消费，它消费消息但消费者 ID，主机不会改变。
2. 重新启动 kafka 代理，它是该主题的领导者。
3. 更改安全组以防止主机连接到我的代理。

Answer 1

也许你看到的不是consumer id，而是consumer group，看Kafka docs, consumer config了解区别。

Kafka 使用消费者组来跟踪最后消费的消息(消费者偏移量)，所以当谈到消费者滞后时，这可能是解释。

这意味着没有消费者在运行，你只需要去掉这个组的消费者抵消。参见例如How do I delete a Kafka Consumer Group to reset offsets?