apache-kafka - Kafka Connect - 无法提交偏移量和刷新

Question

我暂停了我的 Kafka 连接器，重新启动它们时，我的日志中出现了这些错误

[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)

随着未完成消息的数量发生变化，我多次收到此错误。然后停了下来，再也没有看到。

我是否需要在此处采取任何措施或 Connect 重试并提交偏移量，这就是错误已停止的原因？

谢谢

Answer 1

该错误表示有很多消息被缓冲，在超时之前无法刷新。要解决此问题，您可以

要么增加offset.flush.timeout.ms Kafka Connect Worker Configs 中的配置参数

或者您可以通过减少 producer.buffer.memory 来减少缓冲的数据量在您的 Kafka Connect Worker 配置中。当您有相当大的消息时，这将成为最佳选择。