python - Kafka Producer配置重试策略

Question

需要更改 Kafka Producer 配置的哪些参数，以便生产者应该:1)重试n次2)n个间隔后如果代理关闭，也会收到相同的消息。

我需要处理与此相关的情况: https://github.com/rsyslog/rsyslog/issues/1052

Answer 1

您可以将“重试”设置为n(次数)。但这还不够，您还需要研究其他配置，这些配置也可能因此而受到影响或使其无效。

1) 如果生产者有acks = 0，那么它将不起作用。因为 acks = 0 → 生产者不等待任何类型的确认。在这种情况下，不能保证经纪人已收到该记录。 重试配置不会生效，因为无法知道是否发生任何失败。

2) 如果您正在寻找事件的有序交付，那么您需要将 ma​​x.in.flight.requests.per.connection 设置为 1。

3) retry.backoff.ms - 尝试重试给定主题分区的失败请求之前等待的时间。这避免了在某些失败场景下在紧密循环中重复发送请求。

4) request.timeout.ms - 该配置控制客户端等待请求响应的最长时间。如果在超时之前未收到响应，客户端将在必要时重新发送请求，或者在重试次数耗尽时使请求失败。

5) delivery.timeout.ms - 调用 send() 返回后报告成功或失败的时间上限。这限制了记录在发送之前延迟的总时间、等待代理确认的时间(如果预期)以及允许重试发送失败的时间。如果遇到不可恢复的错误，重试次数已用尽，或者记录被添加到到达较早交货到期期限的批处理中。

引用链接:https://kafka.apache.org/documentation/#producerconfigs