c# - 如何从 Confluent kafka C# 库中的 Kafka 主题获取最新偏移量？

Question

我正在使用 Confluent kafka C# 客户端。怎么获取topic消耗的最新offset？

Answer 1

除了前面的答案，你还可以使用

List<TopicPartitionOffsetError> Position(IEnumerable<TopicPartition> partitions)

它将返回从 librdkafka 为给定主题/分区轮询的最后一个偏移量

您有一个类似的Committed 方法，用于获取来自消费者的最新提交的偏移量

---

还可以查询最新的已知偏移量

WatermarkOffsets QueryWatermarkOffsets(TopicPartition topicPartition, TimeSpan timeout)

它会向kafka集群发送请求。调用阻塞，设置适当的超时。目前，您不能一次在多个分区上发送请求。您可以使用它来获取最后已知的偏移量，或者计算滞后

还有

WatermarkOffsets GetWatermarkOffsets(TopicPartition topicPartition)

这将查询 librdkafka 中的内部状态，并可能返回 INVALID_OFFSET (-1001)。您可以使用它来检测由于处理数据而导致的一些滞后。 (这种方法的位置和结果的区别)