使用 Apache kafka 复制 Oracle 数据

Question

我想公开我的oracle数据库中的数据表并公开到apache kafka中。技术上可行吗？我还需要从 oracle 表流式传输数据更改并将其通知给 Kafka。您知道这个用例的详细文档吗？谢谢

Answer 1

1. 您需要 Kafka Connect JDBC 源连接器来从 Oracle 数据库加载数据。 Confluence 有一个开源捆绑连接器。它已与 Confluence 平台的其余部分(包括模式注册表)一起进行了打包和测试。使用此连接器就像编写简单的连接器配置并启动独立的 Kafka Connect 进程或向 Kafka Connect 集群发出 REST 请求一样简单。可以找到此连接器的文档 here

2. 要将变更数据从 Oracle 事务数据库实时移动到 Kafka，您需要首先使用变更数据捕获 (CDC) 专有工具，该工具需要购买商业许可证，例如 Oracle 的 Golden Gate、Attunity Replicate、Dbvisit复制或精简。然后，您可以利用它们都提供的 Kafka Connect 连接器。它们都被列出了here

3. Debezium 是 Redhat 的开源 CDC 工具，计划开发不依赖 Oracle Golden Gate 许可证的连接器。相关的JIRA是here 。