apache-kafka-connect - 重新启动 kafka 连接接收器和源连接器以从头开始读取

Question

我对此进行了大量搜索，但似乎没有一个很好的指南。

从我搜索的内容来看，有几件事需要考虑:

重置接收器连接器内部主题(状态、配置和偏移量)。

源连接器偏移实现是特定于实现的。

问题:还有必要重新设置这些主题吗？

删除消费者组。

使用不同的名称重新启动连接器(这也是一种选择)，但这似乎不是正确的做法。

将消费组重置为 --reset-offsets至 --to-earliest

使用 REST API(它是否提供从头开始重置和读取的功能)

重新启动接收器和源连接器以从头开始读取的最佳方法是什么？

Answer 1

源连接器:

独立模式:删除偏移文件( /tmp/connect.offsets )或更改连接器名称。

分布式模式:更改连接器的名称。

Sink Connector(两种模式)以下方法之一:

更换名字。

重置消费者组的偏移量。组名与连接器名称相同。

要重置偏移，您必须先删除连接器，重置偏移( ./bin/kafka-consumer-groups.sh --bootstrap-server :9092 --group connectorName --reset-offsets --to-earliest --execute --topic topicName )，再添加一次相同的配置

您可以查看以下问题: Reset the JDBC Kafka Connector to start pulling rows from the beginning of time?