mongodb - Kafka 接收器连接器 : No tasks assigned, 即使重启后

Question

我在一组 Docker 容器中使用 Confluent 3.2，其中一个正在运行 kafka-connect worker。

出于我尚不清楚的原因，我的四个连接器中的两个 - 具体来说，hpgraphsl 的 MongoDB sink connector - 停止工作。我能够确定主要问题:连接器没有分配任何任务，这可以通过调用 GET/connectors/{my_connector}/status 看出。其他两个连接器(相同类型)没有受到影响，并且可以愉快地产生输出。

我尝试了三种不同的方法通过 REST API 让我的连接器再次运行:

• 暂停和恢复连接器
• 重新启动连接器
• 使用相同的配置以相同的名称删除和创建连接器

这些方法都行不通。我终于让我的连接器重新工作了:

• 以不同的名称删除和创建连接器，例如 my_connector_v2 而不是 my_connector

这是怎么回事？为什么我无法重新启动现有连接器并让它开始实际任务？ kafka-connect worker 或 Kafka 代理上与 kafka-connect 相关的主题中是否有任何需要清理的陈旧数据？

我有filed an issue在特定连接器的 github repo 上，但我觉得这实际上可能是与 kafka-connect 的内在特性相关的一般错误。有什么想法吗？

Answer 1

我遇到过这个问题。如果启动 SinkTask 或 SourceTask 的资源较少，则可能会发生这种情况。

一段时间内分配给worker的内存可能会变少。默认情况下，worker 被分配了 250MB。请增加这个。下面是一个为分布式运行的worker分配2GB内存的例子。

KAFKA_HEAP_OPTS="-Xmx2G"sh $KAFKA_SERVICE_HOME/connect-distributed $KAFKA_CONFIG_HOME/connect-avro-distributed.properties