jar - 将连接器添加到 Kafka Connect

Question

我正在使用 Confluent Kafka Docker 镜像，特别是使用这个:https://github.com/confluentinc/cp-docker-images/tree/4.0.x/examples/cp-all-in-one

我想添加 MySQL 连接器，方法是:

• 下载连接器 1.5.46 版 (https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz)
• 使用来自下载的连接器 (mysql-connector-java-5.1.46-bin.jar) 的 jar 安装卷
• 将 CONNECT_PLUGIN_PATH 添加到 docker compose 文件中

基本上，从撰写文件中推断出感兴趣的部分，这是重要的片段:

environment:
  <cut>
  CONNECT_PLUGIN_PATH: '/etc/kafka-connect/jars/'
volumes:
  - "./mysql_connector:/etc/kafka-connect/jars/"

JAR 正确存在于 Docker 容器中。

但是，当然，如果我尝试使用该连接器，我无法在已启用的连接器列表中找到它。如果我去控制中心，我会看到:

[{
    "class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
    "type": "sink",
    "version": "1.0.0-cp1"
}, {
    "class": "org.apache.kafka.connect.file.FileStreamSourceConnector",
    "type": "source",
    "version": "1.0.0-cp1"
}]

Answer 1

您的插件路径需要包含实际 JDBC 连接 JAR 文件以及 MySQL JAR 的路径

如果你在这个路径下挂载MySQL JAR

/usr/share/java/kafka-connect-jdbc

然后设置CONNECT_PLUGIN_PATH=/usr/share/java，然后您就可以访问所有捆绑的连接器。 JDBC 连接器将能够读取/写入 MySQL 数据。