apache-kafka - 卡夫卡流 : setting internal topics cleanup policy to delete doesn't work

Question

我使用 kafka 流减少功能，它创建了一些状态存储更改日志 kafka 内部主题(如 app-KSTREAM-REDUCE-STATE-STORE-0000000002-changelog )。

我想设置 保留字节 并更改 清理政策 至 删除 以防止存储已满。所以我在 kafka 流代码中设置了以下配置:

Properties props = new Properties();
props.put(StreamsConfig.TOPIC_PREFIX + TopicConfig.RETENTION_BYTES_CONFIG, Constants.INTERNAL_TOPICS_RETENTION_BYTES);
props.put(StreamsConfig.TOPIC_PREFIX + TopicConfig.CLEANUP_POLICY_CONFIG, TopicConfig.CLEANUP_POLICY_DELETE);
KafkaStreams streams = new KafkaStreams(builder.build(), props);

但是，当生成新主题时， 只有保留配置应用于新生成的内部主题，清理策略保持 紧凑型 .

是否有任何遗漏的步骤？ (或者是否可以将内部主题清理策略设置为删除？)

我用的是kafka版本 1.0.0 和 kafka-streams 版本 1.0.0

Answer 1

感谢郭章在kafka mailing list中的回答:

The issue you described seems like an old bug that is resolved since 1.1.0 (as part of the fix in https://jira.apache.org/jira/browse/KAFKA-6150).

... You do not need to upgrade broker in order to use newer Streams library versions.

将 kafka-streams 版本升级到 1.1.0 解决了这个问题。