gpt4 book ai didi

python - 使用 kafka 0.8.2.0 跟踪主题大小和消费者滞后

转载 作者:太空宇宙 更新时间:2023-11-04 01:08:59 35 4
gpt4 key购买 nike

从 kafka 0.8.2.0 开始,跟踪消费者延迟和主题大小似乎变得非常困难

你如何跟踪偏移量(主题大小)和卡夫卡滞后?您是否会在生产者插入消息时在某处增加一个计数器,并在消费者确认消息时增加另一个计数器?

我正在使用 airbnb's kafka-statsd-metrics2 - 但出于某种原因,所有关于主题大小的指标总是 0,这可能是他们的错误报告,但你是怎么做到的?

我们的消费者和生产者使用 python 编写 kafka-python ,他们声明他们不支持 ConsumerCoordinator 偏移量 API,因此我整理了一个解决方案来查询 zookeeper 并将这些指标发送到 statsd 实例(看起来很尴尬),但我仍然缺少主题大小指标。

我们正在使用 collectd 来收集系统指标,我没有使用 JMX 的经验并且在 collectd 中配置它似乎很复杂,我已经尝试了几次,所以我找到了一些不这样做的方法。

如果您有任何意见,我很想听听,即使是:“这属于 x stackexchange-site”

最佳答案

如果我对您的理解正确,您可以使用 FetchResponse 中的 HighwaterMarkOffset。通过这种方式,您将知道分区末尾的偏移量是多少,并且能够将其与您当前确认的偏移量或此 FetchResponse 中最后一条消息的偏移量进行比较。

详情 here

关于python - 使用 kafka 0.8.2.0 跟踪主题大小和消费者滞后,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28839894/

35 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com