amazon-s3 - Kafka Connect Distributed tasks.max 配置设置的理想值？

Question

我希望生产和部署我的 Kafka Connect 应用程序。但是，我有两个关于 tasks.max 设置的问题，这是必需的并且非常重要，但是对于实际将此值设置为什么的细节含糊不清。

如果我有一个包含 n 个分区的主题，我希望从中使用数据并将其写入某个接收器(在我的情况下，我正在写入 S3)，我应该将 tasks.max 设置为什么？我应该将它设置为n吗？我应该将其设置为 2n 吗？直觉上，我似乎想将值设置为 n，这就是我一直在做的。

如果我更改我的 Kafka 主题并增加该主题的分区怎么办？如果我将它设置为 n，我将不得不暂停我的 Kafka 连接器并增加 tasks.max？如果我设置了 2n 的值，那么我的连接器应该自动增加它运行的并行度吗？

Answer 1

在 Kafka Connect 接收器中，任务本质上是消费者线程并接收要读取的分区。如果您有 10 个分区并且有 tasks.max设置为 5，每个任务接收 2 个分区来读取和跟踪偏移量。如果您已配置 tasks.max到分区计数以上的数字 Connect 将启动数量等于它正在阅读的主题的分区的任务。

如果您更改主题的分区计数，则必须重新启动连接任务，如果 tasks.max仍然大于分区计数，Connect 将启动那么多任务。

编辑，刚发现ConnectorContext :https://kafka.apache.org/0100/javadoc/org/apache/kafka/connect/connector/ConnectorContext.html

必须编写连接器以包含此内容，但看起来 Connect 能够在主题更改(添加/删除分区)时重新配置连接器。