mysql - kafka 连接器如何用于 postgresql 和 mysql 数据库

Question

我正在遵循此处的快速入门教程 quick-start-kafka-connect

本教程展示如何将 mysql 数据库表更改流式传输到 kafka 主题。

唯一的部分是下载所有内容，然后添加带有一些配置属性的 /tmp/kafka-connect-jdbc-source.json 文件并启动

这在后台如何工作？

1 : Does it create connection with database and monitor tables for specific intervals of time? OR

2 : Does it uses replication log? (i don't know how this works)

3 : Is this same mechanism for mysql and postgresql?

Answer 1

Debezium 监控 OpLog。

Kafka Connect JDBC Confluence(您已链接到)可以使用时间间隔，并且该配置由所有兼容 JDBC 的连接(包括 MySQL 和 Postgres)共享。

For incremental query modes that use timestamps, the source connector uses a configuration timestamp.delay.interval.ms ...

---

replication log? (i don't know how this works)

您可以找到the Debezium guide here ，但此机制对于 Mongo、Postgres、MySQL、MSSQL、Oracle 等有所不同。