database - 可能没有 CDC 的 Kafka 流式传输？

Question

我正在处理一个项目。我很好奇是否可以在没有 CDC 的情况下在数据库上实现 Kafka。 (CDC 并没有一直打开它)在网上找不到任何讨论其他选项的资源。是否可以将数据直接输入kafka？例如编写 C# 代码读取数据库，然后插入充当连接器的 Kafka？

Answer 1

看看这个，它解释了一切:-)

https://www.confluent.io/kafka-summit-ny19/no-more-silos-integrating-db-into-apache-kafka

tl;dr:您可以编写一些代码，但问题是您确实应该编写一些代码:)几乎可以肯定不是。您可以使用“适当的”CDC 从事务日志中获取事件，或者您可以将“基于查询的 CDC”与 JDBC 源连接器一起使用以仅轮询新记录。上面的谈话中讨论了每种方法的优缺点。