apache-kafka - 用于计算卡夫卡消费者总滞后时间的预定脚本

Question

我想编写脚本来计算每个消费者/分区的总延迟。我知道一般命令。

bin/kafka-consumer-groups -bootstrap-server :9092, :9092,:9092 --describe --group

解析数据并将其打印到日志的最佳方法是什么？除了主题名称和消费者滞后，我将在每次运行此命令时添加时间戳。这样我就可以将数据发送到 Elastic search，并衡量每个消费者的总滞后时间。

我们不想使用工具kafka manager和burrow卡夫卡版本 1.1.0

谢谢，

Answer 1

我自己的个人方法是显示消费者组，然后使用 grep 命令仅选择 LAG 部分，该命令通过管道传输到 awk 命令，对 LAG 值求和。

所以只需尝试在最后添加:

| grep -E "LAG|*" |  awk '{SUM += $5} END { print SUM}'

如果 awk $5 与 LAG 列不匹配，您可以尝试一下。希望这会有所帮助并起作用:D