java - Kafka KStream 应用程序 - 临时文件清理

Question

似乎我的基于 KStream 的应用程序已经堆积了许多 GB 的文件(.sst、Log.old. 等)。

这些会自行清理还是我需要留意？设置一些参数来剔除它们？

Answer 1

关于这些本地/临时文件:其中一些文件是应用程序状态，这些文件应占消耗的大部分空间。您的应用程序可能会“堆积”许多 GB 的文件，只是因为您的应用程序实际上管理着大量状态。如果删除这些文件，可以通过从 Kafka 重播状态的更改日志来重建(自动)这些文件，但这可能需要一些时间。

Will these get cleaned up on their own or is this something I need to keep an eye on? Some param to be set to cull them?

一些清理工作已经完成，但正如我上面所写，文件很可能出于某种原因消耗了该空间。也许您可以分享应用程序处理拓扑的片段以及有关应用程序处理的数据的一些信息，这可能有助于了解消耗的空间是否正确或是否可能存在问题。

清理:最新版本的 Kafka (0.10.0.1) 现在附带一个用于 Kafka Streams 的应用程序重置工具以及一些有助于清理/重置的随附 API 方法，请参阅 Data Reprocessing with Kafka Streams: Resetting a Streams Application 。也就是说，我不确定您是否打算清理文件，因为您已经停止了应用程序并想要删除所有本地数据，或者因为您想在应用程序仍在运行时进行一些“垃圾收集”。如果是关于后者 (GC)，那么一般来说没有必要——这些文件存在是有充分理由的，而且很可能只是重新创建。