apache-kafka - 在 Kafka 配置中选择正确的清理策略

Question

我正在使用 kafka_2.10-0.10.0.1。我创建了 1 个分区的主题。我知道默认的清理策略是“删除”。我想一直保留主题中的所有记录(不删除任何记录)。什么是正确的方法:使“log.cleaner.enable=false”或“log.cleanup.policy=compact”？
谢谢你

Answer 1

主题具有代理范围的配置，默认情况下适用于任何没有配置的主题，但主题也可以具有覆盖或补充代理范围主题配置的特定于主题的配置。
代理范围的主题配置在您的 service.properties 中设置文件。使用 bin/kafka-topics.sh 设置主题特定的配置脚本或 AdminClient如果您使用的是 Java。
您的相关代理范围配置是 log.retention.ms等效的特定于主题的配置是 retention.ms .如果您设置 log.retention.ms至 -1 ，没有这个的所有主题retention.ms配置将有无限的保留期。同样，如果您设置 -1为 retention.ms对于特定主题，它将具有无限的保留期。
设置retention.ms关于一个新话题:

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic my_topic_name
  --partitions 20 --replication-factor 3 --config retention.ms=-1

您还可以修改现有主题以设置 retention.ms至 -1 :

> bin/kafka-configs.sh --zookeeper zk_host:port/chroot --entity-type topics --entity-name my_topic_name --alter --add-config retention.ms=-1

在此处查看特定于主题的配置的完整列表: https://kafka.apache.org/documentation/#topicconfigs以及更多关于主题操作的信息: https://kafka.apache.org/documentation/#basic_ops