postgresql - spark 结构化流 PostgreSQL updatestatebykey

Question

如何通过 INPUT PostgreSQL 表的更改触发的 Spark 结构化流计算来更新 OUTPUT TABLE 的状态？

作为现实生活中的场景，USERS 表已被user_id = 0002 更新，如何仅针对该用户触发 Spark 计算并将结果写入/更新到另一个表？

Answer 1

虽然没有开箱即用的解决方案，但您可以通过以下方式实现。

您可以使用 Linkedin 的 Databus或其他挖掘数据库日志并向 kafka 生成相应事件的类似工具。该工具跟踪数据库 bin 日志中的更改。您可以编写一个 kafka 连接器来转换和过滤数据。然后，您可以使用来自 kafka 的事件并将它们处理为您想要的任何接收器格式。