gpt4 book ai didi

apache-kafka - Kafka 的retention.ms 没有在Kafka 0.10.2 中强制执行?

转载 作者:行者123 更新时间:2023-12-04 04:58:49 24 4
gpt4 key购买 nike

#!/bin/zsh
zk_servers=('10.138.0.8' '10.138.0.9' '10.138.0.16')
kafka_servers=('10.138.0.13:9092' '10.138.0.14:9092')
topics=('t1' 't2' 't1_failed' 't2_failed')


NORMAL=$(tput sgr0)
GREEN=$(tput setaf 2; tput bold)
YELLOW=$(tput setaf 3)
RED=$(tput setaf 1)

function red() {
echo -e "$RED$*$NORMAL"
}

function green() {
echo -e "$GREEN$*$NORMAL"
}

function yellow() {
echo -e "$YELLOW$*$NORMAL"
}



for topic in $topics; do
yellow "Cleaning up messages in topic @ " $topic
yellow "=============================================================="
$KAFKA/kafka-topics.sh --zookeeper $zk_servers --alter --topic $topic --config retention.ms=100
$KAFKA/kafka-topics.sh --zookeeper $zk_servers --describe --topic $topic
done

red "Waiting 120 seconds for messages to expire"
sleep 120

for topic in $topics; do
green "Restoring config of topic @ " $topic
green "=============================================================="
$KAFKA/kafka-topics.sh --zookeeper $zk_servers --alter --topic $topic --delete-config retention.ms
$KAFKA/kafka-topics.sh --zookeeper $zk_servers --describe --topic $topic
$KAFKA/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list $kafka_servers --topic $topic
done

当我运行此脚本时 - 我可以看到 config.retention.ms 已更改为 100 毫秒,但延迟 120 秒后 - 我仍然在所有 kafka 主题中看到相同的消息。

那么如何清除消息呢?

谢谢,
德米特里

最佳答案

除了公认的答案之外,还有更多内容。 Kafka 将消息存储在文件系统上的日志文件中。这些文件有翻转(按时间或大小配置)。一旦文件不再是当前文件,Kafka 将不再附加到该文件。

现在是有趣的部分:Kafka 不会使单个消息过期。一旦该文件中消息的最高时间戳早于 retention.ms,它将(对于非压缩主题)删除整个日志文件。 .保留时间告诉您消息至少可用这么长时间,但它可能可用更长时间(取决于翻转配置和消息量)。

在较旧的 Kafka 版本中,这不是基于消息时间戳而是对日志文件的写访问。感谢@dawsaw 指出这一点。

关于apache-kafka - Kafka 的retention.ms 没有在Kafka 0.10.2 中强制执行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43461100/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com