c++ - rdkafka 消费者查询分区大小

Question

假设我无权访问在感兴趣的分区上提交的一组生产者，但只能控制一堆 C++ 消费者。由于我在一个复杂的程序上运行基准测试，我想知道我的消费者获取的偏移量与存储在分区中的总偏移量之间的差值。

例如，>> 在主题 foo 的分区 0 中阅读消息 #1234，共 5678 条消息

我误解了 RdKafka::Consumer->outq_len() 和 RdKafka::Topic->OFFSET_END 的目的，因为它们看起来始终分别等于 0 和 -1。

如何获取示例的 5678 值？

Answer 1

您需要订阅 librdkafka 的统计数据以获取您的消费者延迟的最新 View 。注册一个Event回调类并在你的句柄上定期调用poll()，检查EVENT_STATS然后解析相应的JSON消息并寻找lo_offset、hi_offset 和 consumer_lag。