apache-kafka - Kafka Streams - 淹没kafka日志

Question

我正在使用 Kafka Streams，我注意到它使我的 kafka 记录了很多日志消息，例如:

[2019-04-17 09:06:16,541] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition-0, dir=/opt/kafka/data/logs] Incrementing log start offset to 316423 (kafka.log.Log) [2019-04-17 09:06:16,545] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000033-repartition-2, dir=/opt/kafka/data/logs] Incrementing log start offset to 3394 (kafka.log.Log) 
[2019-04-17 09:06:16,546] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000012-repartition-1, dir=/opt/kafka/data/logs] Incrementing log start offset to 3102 (kafka.log.Log) 
[2019-04-17 09:06:16,549] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000067-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 4168 (kafka.log.Log) 
[2019-04-17 09:06:16,551] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000086-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 329670 (kafka.log.Log)

这真的很令人不安，因为它淹没了日志，所以我看不到任何其他东西(也消耗资源)。

为什么它会发生在(某些)Kafka Streams 内部主题上，但不会发生在其他主题上？

如何禁用它？

Answer 1

Kafka Streams 会在处理数据以释放 Kafka 集群中的存储空间后积极清除重新分区主题(参见 https://issues.apache.org/jira/browse/KAFKA-6150)。无法禁用此功能。

作为解决方法，您可以重新配置重新分区主题配置参数 segment.bytes 和 segment.ms 并将它们设置为更高的值。 请注意，这会降低数据清除的效率，但会导致 Kafka 集群中的磁盘使用量增加。