apache-kafka - 如何删除/清除 Kafka Streams 中的状态存储？

Question

我有一个自定义 Transformer在我的 kafka-streams DSL 末尾实现，带有持久的更改日志 KeyValueStore绑定(bind)到它。

几周以来，我一直在商店里放太多数据。现在，每当我加载应用程序时，它都会占用太多 RAM。

但是，应用程序本身只是一个原型(prototype)，所以我不介意完全清除商店。

我可以重命名 kafka.application.id和 state-store-name但这是一个临时解决方法(并且不会删除相应的数据/主题)。

如何彻底清除它？

Answer 1

汇合的documentation recommends要么使用 KafkaStreams.cleanUp()，要么手动删除 /var/lib/kafka-streams/<application.id> 处的目录(配置参数 state.dir )。
您还需要使用 special reset tool 重置应用程序使用的所有主题- bin/kafka-streams-application-reset :

bin/kafka-streams-application-reset --application-id my-streams-app \
                                  --input-topics my-input-topic \
                                  --intermediate-topics rekeyed-topic

这个 post关于重置状态非常有趣。