PostgreSQL 逻辑日志流式传输到 Apache Kafka

Question

我想知道这是否可能，或者是否有人尝试将 Apache Kafka 设置为 PostgreSQL 逻辑日志流的使用者？这有意义吗？

https://wiki.postgresql.org/wiki/Logical_Log_Streaming_Replication

我有一个遗留源系统，我需要从中制作实时仪表板。由于某些原因，我无法 Hook 应用程序事件(顺便说一句，它是 Java 应用程序)。相反，我正在考虑某种 lambda 架构:当仪表板初始化时，它从经过一些 ETL 后到达那里的持久数据“数据仓库”中读取。然后更改事件通过 Kafka 流式传输到仪表板。

存储在 Kafka 中的事件的另一种用途是一种用于数据仓库填充的变更数据捕获方法。这是必要的，因为没有支持 postgesql 的商业 CDC 工具。并且源应用程序在不保留历史记录的情况下更新表。

Answer 1

xsteven 的 PostgreSQL WAL 到 protobuf 项目的组合 - decoderbufs ( https://github.com/xstevens/decoderbufs ) - 和他的 pg_kafka 生产者 ( https://github.com/xstevens/pg_kafka ) 可能是一个开始。