docker - 在Kakfa中安装JDBC SQL Server驱动程序-image wurstmeister/kafka

Question

我正在将sql服务器表同步到Snowflake。我可能为此使用kafka并找到了一个docker镜像-来自docker hub的wurstmeister / kafka。
我已经克隆了存储库wurstmeister / kafka-docker，并从要克隆的文件夹中运行docker-compose up -d。一切都很好，直到这里。我现在想进入下一步。

如何在docker文件中将here中的jdbc安装到镜像中？容器中的哪个路径？这是连接sql server表并运行sql语句以获取更改的行。

如何建立连接，哪个文件是

我是否也需要kakfak连接图像，如果要怎么做，我假设它会在yml文件中？

是否有日志可以查看连接是否正常。

这些是我心中的问题，我非常困惑。我将不胜感激任何帮助或指针。

Answer 1

This is to connect the sql server table and run the sql statement to get the changed rows.

我建议使用Kafka Connect从数据库中提取数据。为此，在 https://hub.docker.com/r/confluentinc/上有Kafka Connect镜像(以及其他镜像)

特别是对于SQL Server，您有三个选择:

JDBC Source connector

SQL Server CDC connector(汇合)

SQL Server CDC connector(Debezium)

how to install jdbc from here into the image, in the docker file? what path in the container?

您可以在插入连接器的情况下构建自己的docker镜像，也可以在运行它时安装它。本文讨论 deploying a connector automatically。

How to set up the connection, which file

每个连接器都有其自己的配置要求。从广义上讲，尽管您使用Kafka Connect REST API对其进行配置(或独立模式下的属性文件)。

Do I need a kakfak connect image as well, if so how to do that , I assume it would be in the yml file?

为此，在 https://hub.docker.com/r/confluentinc/上有Kafka Connect镜像(以及其他镜像)

Is there a log where I can see if the connection went fine.

Kafka Connect worker默认情况下会将日志写入stdout，您可以通过docker日志进行查看。有关使用Kafka Connect和JDBC连接器的示例，请参见 this article。

These are the questions in my mind and I am pretty stuck. I would really appreciate any help or pointer.

Kafka Connect是您需要寻找的地方。它既可以充当源(将数据获取到Kafka中)，也可以充当宿(将数据从Kafka中获取到其他地方)。本系列文章可能会有所帮助:

https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/

https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2/

https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/

这个演讲也展示了它的作用: https://www.youtube.com/watch?v=RJtEacDX4Oc