go - 对于主题的某些分区，kafka 偏移量和滞后是未知的

Question

我正在使用来自 https://github.com/confluentinc/confluent-kafka-go 的消费者. kafka版本为0.10.1.0。

这是我的消费者的配置:

kafkaClient, err := kafka.NewConsumer(&kafka.ConfigMap{
    "bootstrap.servers":               broker,
    "group.id":                       "udwg20",
    "session.timeout.ms":              60000,
    "go.events.channel.enable":        true,
    "go.application.rebalance.enable": true,
    "default.topic.config": kafka.ConfigMap{
        "auto.offset.reset":      "earliest",
        "enable.auto.commit":      true,
        "auto.commit.interval.ms": 10000}})

一开始，显示了所有的current-offset和lag，但是运行几个小时后，一些分区(没有收到任何新消息)的offset和lag变得未知。如果有消息来到offset和lag未知的partition，offset和lag会再次可见，消息会被消费。

当有部分partition状态未知current-offset和lag时，我重启consumer，此时所有current-offset and lag状态未知的partition会从头开始重新消费，但其他partition貌似运行正常.

我还使用了一个 python 消费者，它使用不同的消费者组 ID 来消费来自该主题的消息。 python 消费者似乎在没有任何具有未知电流偏移和滞后的分区的情况下工作良好。

Answer 1

offsets.retention.minutes 用于清理不活跃的消费者群体。如果消费者组在 offsets.retention.minutes(默认为 24​​h)内没有提交任何偏移量，kafka 将清理其偏移量。这就是偏移量和日志设置为 unknown 的原因。

但是您可以增加偏移量保留期，请注意老消费者将在 __consumer_offsets 主题中保留空间。