apache-kafka - 何时关闭生产者或消费者

Question

最近，我们的 Kafka 消费者和生产者遇到了一些性能问题。我们在 Scala 中使用 Kafka Java API。什么被认为是打开和关闭消费者和生产者对象的良好做法？我相信这是一个非常开放的问题，正确的答案总是depends但我正在尝试对此进行推理。

消费者可以长期运行连接并保持打开状态吗？

每当我们完成生产消息时，生产者是否应该关闭？

Answer 1

Can Consumers can be long-running connections and left open?

一般来说，是的。

详细说明:取决于您的消费者配置。

如果您的消费者是消费者组的成员，他们当然应该关闭 - 以尽早触发重新平衡。

如果您的消费者使用自动提交偏移量，他们仍然会每 N 毫秒继续提交一次(AFAIK 60k)，这可能会浪费资源。

否则，他们可以留下来——但为什么要浪费资源呢？

Should producers be closed whenever we are done producing messages?

一般来说，是的。

取决于你的设计，但如果你可以说在某个时间你不会再发送任何消息，那么你可以关闭。这并不意味着您应该在每次发送消息后关闭并重新创建生产者。