apache-kafka - Kafka生产者无限日志消息: Error while fetching metadata with correlation id 18345 : {input-topic=UNKNOWN_TOPIC_OR_PARTITION}

Question

在尝试将消息推送到不存在的 kafka 主题时，kafka 客户端不断生成以下日志消息:

Error while fetching metadata with correlation id 13599 : {input topic=UNKNOWN_TOPIC_OR_PARTITION}

我尝试将retries 设置减少到 5，但它仍然会无限期地打印此日志消息。最终它崩溃了。

如果主题不存在，是否有办法告诉 kafka 中止尝试获取主题元数据？

这是我的生产者配置的摘录:

ProducerConfig values:  acks = 1    connections.max.idle.ms = 540000    delivery.timeout.ms = 120000    enable.idempotence = false      linger.ms = 0   max.block.ms = 9223372036854775807  max.in.flight.requests.per.connection = 1   max.request.size = 1048576  metadata.max.age.ms = 300000    metadata.max.idle.ms = 300000   reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50   request.timeout.ms = 30000  retries = 5 retry.backoff.ms = 100  transaction.timeout.ms = 60000  

Answer 1

在这种情况下，您真的不能告诉 Kafka“中止”(据我的在线搜索显示)，但您可以更改设置，使日志的垃圾邮件少得多。

以下两个属性有助于最小化这些日志。

1. retry.backoff.ms - 默认为 100 毫秒，是(重新)尝试发送的时间间隔。将此设置为至少 1000 似乎是合理的(对我而言)

2. (仅供消费者使用)由于消费者也可能收到这种垃圾日志消息，因此有以下属性可以改变此问题:max.poll.interval.ms - 默认为 300 秒( 5 分钟)，是它不断尝试的时间。 5 分钟后，将不再尝试投票。将其设置为 1 分钟之类的值似乎是一个合理的值。