apache-kafka - 有没有办法清除Kafka中的主题？

Question

我将一条太大的消息推送到本地计算机上的 kafka 消息主题中，现在出现错误:

kafka.common.InvalidMessageSizeException: invalid message size

增加 fetch.size 在这里并不理想，因为我实际上不想接受那么大的消息。

Answer 1

暂时将主题的保留时间更新为一秒:

kafka-topics.sh \
  --zookeeper <zkhost>:2181 \
  --alter \
  --topic <topic name> \
  --config retention.ms=1000

在较新的 Kafka 版本中，您还可以使用 kafka-configs --entity-type topic

kafka-configs.sh \
  --zookeeper <zkhost>:2181 \
  --entity-type topics \
  --alter \
  --entity-name <topic name> \
  --add-config retention.ms=1000

然后等待清除生效(持续时间取决于主题的大小)。清除后，恢复之前的 retention.ms 值。